DeepSeek-V3：671B总参数的MoE模型，如何用270万GPU小时实现SOTA性能 | deepseek-ai/DeepSeek-V3
引言：成本与稳定性的双赢 DeepSeek-V3 的 README 里藏着两个硬事实：预训练只花了 2.664M H800 GPU 小时，后训练再加 0.1M；全程没有一次不可恢复的 loss spike，没有一次回滚。对比 Llama 3 405B 估算的三千万小时，成本低了一个数量级，稳定性却高...
引言：成本与稳定性的双赢 DeepSeek-V3 的 README 里藏着两个硬事实：预训练只花了 2.664M H800 GPU 小时，后训练再加 0.1M；全程没有一次不可恢复的 loss spike，没有一次回滚。对比 Llama 3 405B 估算的三千万小时，成本低了一个数量级，稳定性却高...