重装系统没有安装网卡驱动怎么办

智东西

编译 | 程茜 李水青

近日，DeepSeek团队公布了最新研究成果，以DeepSeek-V3为代表展示了其在硬件架构和模型设计方面的重大突破。该研究为实现具有成本效益的大规模训练和推理提供了新的思路。

DeepSeek创始人兼CEO梁文锋也参与了此次研究，并在论文中署名。论文的通讯地址位于“北京”，可以推测该研究主要由DeepSeek北京团队主导。

随着大语言模型的迅速扩张，硬件架构面临着内存容量不足、计算效率低下和互连带宽受限等三大挑战。而DeepSeek-V3却在这一领域实现了显著的效率突破。

具体数据表现为，该模型在仅使用2048块H800 GPU进行训练时，FP8训练的准确率损失小于0.25%，每token的训练成本仅为250 GFLOPS。相比之下，405B密集模型的训练成本为2.45 TFLOPS，而KV缓存更是低至每个token仅70 KB，仅为Llama-3.1缓存的1/7。

这一突破背后，是一系列的技术创新。包括用于提高内存效率的多头潜在注意力（MLA）、优化计算与通信之间权衡的混合专家（MoE）架构、采用FP8混合精度训练以释放硬件的全部潜力，以及最小化集群级网络开销的多平面网络拓扑等。

DeepSeek的论文强调了软硬件协同设计在实现大型模型成本效益训练中的重要性。OpenAI的联合创始人Andrej Karpathy也对DeepSeek-V3表示了赞赏，认为它实现了高性能与低成本的平衡，可能会改变未来对超大规模GPU集群的需求。

论文不仅详细探讨了这些技术细节，更从硬件架构和模型设计的双重角度深入探讨了它们之间的相互影响。分析包括硬件驱动的模型设计、硬件和模型间的相互依赖关系以及未来硬件开发的方向。

论文地址可在arXiv上找到：[论文链接](/abs/2505.09343)。

关于DeepSeek-V3的关键创新，可以归纳为以下几点：

一、提高内存效率与成本效益

DeepSeek-V3旨在解决内存效率、成本效益和推理速度等核心挑战。通过优化内存使用，使用MLA减少KV缓存，有效降低了内存消耗，这对于处理长序列或多轮输入时非常关键。

二、FP8精度与MoE模型的优势

FP8精度的使用将内存消耗降低了一半，显著缓解了AI内存墙的挑战。而MoE模型则具有降低训练成本和便于本地部署的优势。DeepSeek开发的DeepSeekMoE使得参数数量可以急剧增加，同时保持计算要求适中。这一特点使得MoE模型在个人使用和本地部署方面具有显著优势，特别是在个性化Agent快速发展的未来。

DeepSeek-V3的研究为实现具有成本效益的大规模训练和推理提供了新的可能性，为AI领域的发展注入了新的活力。