Karpathy的nanochat：用$15复刻GPT-2能力的极速训练框架 | karpathy/nanochat
2019年OpenAI训练GPT-2（1.6B参数）用了168小时，账单43,000美元。现在你拿一个8×H100 GPU节点跑nanochat，最快1.65小时就能拿到比原版更高的DCLM CORE分数（0.2626 vs 0.2565）。按需实例成本约48美元，用抢占式实例能压到15美元。这不是...
2019年OpenAI训练GPT-2（1.6B参数）用了168小时，账单43,000美元。现在你拿一个8×H100 GPU节点跑nanochat，最快1.65小时就能拿到比原版更高的DCLM CORE分数（0.2626 vs 0.2565）。按需实例成本约48美元，用抢占式实例能压到15美元。这不是...