📌 项目地址：deepseek-ai/DeepSeek-V3 | ⭐ 103,647 颗星 | 🔧 Python | 📜 MIT
引言：成本与稳定性的双赢
DeepSeek-V3 的 README 里藏着两个硬事实：预训练只花了 2.664M H800 GPU 小时，后训练再加 0.1M；全程没有一次不可恢复的 loss spike，没有一次回滚。对比 Llama 3 405B 估算的三千万小时，成本低了一个数量级，稳定性却高出不少。
大模型训练圈的人都知道，loss spike 像定时炸弹，团队经常被迫倒回 checkpoint，浪费大量算力。V3 能做到零回滚，说明训练策略不是靠运气，是工程选择的结果。下面我把 README 里几个关键点拆开，说说它们到底做了什么，以及 README 没写清楚的地方。
无辅助损失负载均衡：不罚分，改规则
MoE 模型里，少数 expert 容易吃掉大部分 token，其他 expert 空转。常规做法是加一个辅助损失（auxiliary loss）强制均衡，但这个惩罚项会干扰主任务——模型一边学解题，一边被罚不准用某些 expert。DeepSeek-V3 的做法是 auxiliary-loss-free。README 写这“minimizes the performance degradation”，但没给具体实现。
我的推测：团队可能用了基于 token 分配比例的动态门控调整，而不是额外损失函数。从结果看，训练全程无 loss spike，说明负载均衡机制没有给模型学东西添乱。这对想复现超大 MoE 的人是个信号：辅助损失不是必需品，代价是门控网络的设计要更精细。
多 token 预测：训练推理两用的意外收获
常规语言模型做 next token prediction，每次猜下一个。V3 改成 Multi-Token Prediction (MTP)，一次预测后面好几个词。训练时，模型必须捕获更长距离依赖，否则没法同时猜对多个 token。推理时，MTP 模块直接当 speculative decoding 用：模型一次吐出多个候选 token，验证正确就一次性输出，减少自回归步数。
README 写得清楚：“It can also be used for speculative decoding for inference acceleration。” 这意味着你不需要再单独搞一个 speculative decoding 模型，直接复用训练时的 MTP 头就行。不过 README 没给实现细节，想复现的得去看论文。我猜 MTP 头可能是几个并行的线性层，预测连续位置，但具体怎么训练、怎么采样，文档里一个字没提。
FP8 训练：三层协同，通信重叠接近满分
FP8 能省显存和省算力，道理大家都懂，但以前没人敢在 671B 这种规模上跑通。DeepSeek-V3 是第一个公开验证超大模型 FP8 训练可行的项目。关键在算法、框架、硬件三层协同：混合精度策略（什么层用 FP8，什么层用 BF16）、计算图优化、H800 的 FP8 硬件支持。
README 特别强调 “overcome the communication bottleneck in cross-node MoE training, nearly achieving full computation-communication overlap”。跨节点 MoE 训练，专家分布在不同的 GPU 上，每算一步都要等通信把数据传过来。V3 通过流水线安排，让计算和通信几乎完全重叠，通信等待时间被压到接近零。这是省钱的核心原因。
我算了下：预训练 14.8 万亿 token，只花 2.664M H800 GPU 小时。按市场价大概几百万美元，比传统方案低了一个数量级。
后训练蒸馏：R1 的配方还未公开
Post-Training 部分提到“Knowledge Distillation from DeepSeek-R1”，然后有一句“We introduce an innovative method…”就截断了，没展开。结合公开信息，R1 是一个推理能力很强的模型，蒸馏后 V3 在数学、代码等推理任务上有明显提升。但 README 只说“蒸馏”，没有实现细节——到底是用 logits 蒸馏还是 sequence-level 蒸馏？用了多少数据？teacher 模型有没有冻结？这些一概不写。
如果你自己做蒸馏，可以拿 V3 当基座，再用 R1 的输出去 finetune——但 R1 没开源，暂时只能靠 API。这算是文档的一个缺口。
文档的两个缺口：运行命令和蒸馏细节
README 里有完整的评估结果表（超过所有开源模型，持平闭源顶尖模型），有论文链接，有 Chat 网站和 API 平台链接，权重以 MIT 许可证开源。但仔细看，两个关键信息缺失：
- 本地推理命令：README 只说“How to Run Locally”，但下方没有任何一行命令。671B 模型怎么加载？用 vLLM 还是 TGI？需要多少显存？FP8 量化怎么启用？这些全没有。对想本地部署的开发者来说，得自己去翻论文或社区帖子。
- 蒸馏实现细节：前面说了，Post-Training 部分断在“We introduce an innovative method…”，后续内容缺失。假设你要复现后训练流程，现在只能靠猜测。
我建议项目维护者至少加两段：一段用 Hugging Face Transformers 或 vLLM 的推理示例代码；一段简要说明蒸馏的算法框架，或者指向相关论文。开源项目不能只靠 README 画饼，实操才是真价值。
我的判断：开源大模型的工程标杆
DeepSeek-V3 没有搞什么理论突破。它做的是把负载均衡、训练目标、精度策略、通信优化这四件事串成一个工程闭环。成本压低了，稳定性保住了，训练成果以 MIT 许可证放出。
对想复现或改进超大模型训练的团队，最有价值的信息是训练稳定性的工程细节——比如怎么做到无 loss spike 无回滚。这部分 README 没展开，论文里应该有更多讨论。另一个值得关注的点：用合理预算造出顶级模型是可行的，不是必须砸几千万 GPU 小时才有好结果。开源的意义也在这里：你不需要从零开始，可以直接拿这个 MoE 架构和训练策略做基座，省下大量试错成本。
当然，文档的缺口也提醒我们：一个项目的影响力，一半靠技术，一半靠文档。如果能把推理命令和蒸馏细节补上，DeepSeek-V3 的使用门槛会低很多。