从零手搓一个LLM:基于PyTorch的Transformer完整教程 | train-llm-from-scratch
大家常看到各种“从零实现Transformer”的教程,但多数停留在demo层面:玩具数据、不到百万参数、不涉及对齐。FareedKhan-dev/train-llm-from-scratch 走得更远。它在单个Notebook里手写了Transformer每一个组件(MLP、单头注意力、多头注意力...
大家常看到各种“从零实现Transformer”的教程,但多数停留在demo层面:玩具数据、不到百万参数、不涉及对齐。FareedKhan-dev/train-llm-from-scratch 走得更远。它在单个Notebook里手写了Transformer每一个组件(MLP、单头注意力、多头注意力...