📌 项目地址:QwenLM/Qwen3 | ⭐ 27,269 颗星 | 🔧 Python | 📜 未标注
这个仓库不藏模型,只有入门地图
Qwen3的GitHub页面有2.7万星,点开278MB数据——大部分是Git历史和README。README全篇指向HuggingFace和ModelScope。模型权重不在这里,训练代码也不在。这个项目是入口,真正的内容在外面:模型发布在HuggingFace,教程在readthedocs。你不能pip install完就运行,得按文档走。
Qwen3-2507两个变体,怎么选
最新版本Qwen3-2507提供两个变体:Instruct-2507和Thinking-2507,三个尺寸:4B、30B-A3B、235B-A22B。README描述:
- Instruct-2507:通用能力提升,包括指令遵循、逻辑推理、文本理解、数学、科学、编码和工具使用。上下文256K,可扩展到1M。适合不需要内部思考步骤的直接任务:写邮件、翻译、信息提取、总结。
- Thinking-2507:推理任务更强——数学、科学、编码、需要专业知识的学术基准。团队称它是开源思考模型中的SOTA。代价是输出更长、推理更慢。
选择:如果你的任务需要分步推理(例如解复杂数学题、带约束的代码编写),选Thinking。其他选Instruct。不确定时先用Instruct,结果不对换Thinking。
30B-A3B和235B-A22B的显存真相
很多人以为参数A表示激活参数,所以总显存只占A部分。这是错的。加载模型时,你需要把所有参数都放到显存里。30B模型(无论激活多少)在FP16下需要约60GB显存(每个参数2字节),235B需要约470GB。计算速度受激活参数影响,但加载占用不受影响。单卡跑30B,要么量化到8bit(约30GB)或4bit(约15GB),要么用两张A100。4B模型量化后显存低于4GB。
量化方法在文档Quantization章节(GPTQ、AWQ、GGUF)。如果你显存不够,先看那个章节再决定量化方案。
文档阅读顺序:别从第一章开始
文档七章:Quickstart、Inference、Run Locally、Deployment、Quantization、Training、Framework。官方把Quickstart放第一。但最实用的顺序取决于你的硬件和目的:
- 显存≥24GB,想最快体验:读Quickstart和Inference。Quickstart演示基本用法,Inference给Transformers示例代码。
- 显存<24GB:先读Quantization,决定用GGUF还是其他量化,然后读Run Locally(ollama、llama.cpp、LM Studio)。这些框架不需要写代码,按步骤走。
- 生产环境多卡:读Deployment(SGLang、vLLM、TGI)。
- 需要微调:Training章节目前只有SFT,RLHF标记了TODO。Framework章节有RAG和Agent案例。
我试下来,只看与自己硬件对应的两章就够了。
从零跑起三步
一、去HuggingFace的Qwen3 collection,下载以Qwen3-开头的checkpoint。4B模型约8GB。
二、选框架:
- 单卡显存<24GB:先量化(Quantization章节),然后用ollama/llama.cpp运行(Run Locally章节)。
- 单卡显存≥24GB:直接用Transformers(Inference章节有示例代码)。
- 多卡服务:用vLLM(Deployment章节)。
三、运行。文档Inference章节给出了基于Transformers的代码,把模型路径换成你的本地路径。
唯一提醒:不要从GitHub仓库直接找可执行文件,它没有提供任何脚本。所有可操作的代码和配置都在HuggingFace的模型卡里。
一句话
Instruct干日常,Thinking干推理。低显存跑大模型先看Quantization。文档入口:readthedocs,根据硬件选章节。