📌 项目地址：lyogavin/airllm | ⭐ 20,960 颗星 | 🔧 Jupyter Notebook | 📜 未标注
核心价值：用消费级显卡跑70B参数的大模型
运行一个70B级别的大语言模型，通常需要至少140GB的显存——这意味着你需要多块高端专业显卡（如A100、H100）或昂贵的云服务。AirLLM的出现打破了这一限制：它通过分层加载、内存优化等技术，让你用一张4GB显存的普通消费级GPU（甚至8GB显存就能跑405B的Llama3.1）就能完成推理，无需量化、蒸馏或剪枝，保证了模型原始精度。
这本质上是一个“内存换时间”的策略：把模型按层分片，每次只加载当前计算需要的层到GPU，其余层保存在CPU内存或磁盘上。虽然推理速度比原生全显存方案慢，但对于实验、原型验证、低并发场景而言，这可能是目前成本最低的入场券。
实际用法：安装与极简代码
根据项目官方文档，AirLLM的使用与Hugging Face Transformers非常接近。第一步是安装：
pip install airllm
第二步，初始化模型。假设你想跑Meta的Llama 3.1 70B，只需要传入Hugging Face仓库ID（或本地模型路径），然后像普通Transformer模型一样调用生成方法。由于README原文中完整的代码示例被截断，以下为典型用法（请参考项目Quickstart部分的具体代码）：
from airllm import AirLLMLlama2
model = AirLLMLlama2.from_pretrained("meta-llama/Llama-3.1-70B")
input_text = "Explain the concept of recursion."
output = model.generate(input_text)
print(output)
首次运行时，AirLLM会自动下载模型权重，将其按层切分并缓存到本地（可通过环境变量AIRLLM_LAYER_SHARDS_SAVING_DIR指定缓存目录）。后续推理会复用这些缓存，速度更快。
支持的模型列表持续扩展，包括Llama、ChatGLM、Qwen、Baichuan、Mistral、InternLM等，具体见README中的Supported Models表格。
进阶用法：项目还提供了模型压缩功能（v2.0+），能将推理速度提升3倍。此外，你可以选择开启8bit/4bit量化（v2.10.1起），进一步降低显存占用——但这会损失部分精度。
与其他方案的差异化优势
| 对比维度 | AirLLM | 传统量化方案（GPTQ/AWQ） | DeepSpeed / vLLM |
|---|---|---|---|
| 最低显存需求 | 4GB（70B） / 8GB（405B） | 仍需数十GB（量化后） | 仍需要大显存（分片部署） |
| 精度损失 | 无（可选项量化） | 有量化损失 | 无（但依赖多卡） |
| 部署复杂度 | 极低（pip install + 几行代码） | 中等（需量化校准） | 高（需分布式配置） |
| 推理速度 | 较慢（但可通过压缩加速） | 快 | 快 |
AirLLM的核心优势在于极低的硬件门槛和零精度损失。如果你的目标是“在现有低端显卡上快速验证大模型效果”或“用于教学/演示”，它是最优选择；如果你需要高吞吐的线上服务，则更适合vLLM等方案。
需要注意的事项
- 推理速度：由于每次只加载一层，实际推理时间会比全显存方案慢（v2.0之前大约慢5-10倍，v2.0的压缩模式可缩短到2-3倍）。适合对延迟不敏感的场景，如批量离线处理、代码实验。
- 首次启动耗时：第一次运行需要下载并拆分模型权重，70B模型可能需要数十分钟。请确保有足够磁盘空间（约140GB原模型 + 切分缓存）。
- 模型兼容性：当前仅支持Hugging Face格式的模型，且部分模型（如纯Flax/PT权重）可能需要手动转换。非分片模型在v2.10.1后已支持。
- 许可证：项目采用BELLE License，这是一个商用友好的开源许可，但建议根据自己的使用场景仔细阅读。
- MacOS支持：从v2.8.2开始支持在Mac上运行70B模型，但依赖Apple Silicon及足够内存（M系列芯片建议至少32GB统一内存）。
总结
AirLLM是当前在低显存硬件上运行大规模语言模型的最简单、成本最低的方案之一。它不需要你拥有昂贵的专业显卡或复杂的分布式配置，只需一张常见的消费级GPU（甚至用CPU也能跑）。如果你手头只有4GB~8GB显存的显卡，却又想体验70B/405B模型的效果，不妨按照本文指引尝试一下。