📌 项目地址QwenLM/Qwen3 | ⭐ 27,269 颗星 | 🔧 Python | 📜 未标注

这个仓库不藏模型,只有入门地图

Qwen3的GitHub页面有2.7万星,点开278MB数据——大部分是Git历史和README。README全篇指向HuggingFace和ModelScope。模型权重不在这里,训练代码也不在。这个项目是入口,真正的内容在外面:模型发布在HuggingFace,教程在readthedocs。你不能pip install完就运行,得按文档走。

Qwen3-2507两个变体,怎么选

最新版本Qwen3-2507提供两个变体:Instruct-2507和Thinking-2507,三个尺寸:4B、30B-A3B、235B-A22B。README描述:

  • Instruct-2507:通用能力提升,包括指令遵循、逻辑推理、文本理解、数学、科学、编码和工具使用。上下文256K,可扩展到1M。适合不需要内部思考步骤的直接任务:写邮件、翻译、信息提取、总结。
  • Thinking-2507:推理任务更强——数学、科学、编码、需要专业知识的学术基准。团队称它是开源思考模型中的SOTA。代价是输出更长、推理更慢。

选择:如果你的任务需要分步推理(例如解复杂数学题、带约束的代码编写),选Thinking。其他选Instruct。不确定时先用Instruct,结果不对换Thinking。

30B-A3B和235B-A22B的显存真相

很多人以为参数A表示激活参数,所以总显存只占A部分。这是错的。加载模型时,你需要把所有参数都放到显存里。30B模型(无论激活多少)在FP16下需要约60GB显存(每个参数2字节),235B需要约470GB。计算速度受激活参数影响,但加载占用不受影响。单卡跑30B,要么量化到8bit(约30GB)或4bit(约15GB),要么用两张A100。4B模型量化后显存低于4GB。

量化方法在文档Quantization章节(GPTQ、AWQ、GGUF)。如果你显存不够,先看那个章节再决定量化方案。

文档阅读顺序:别从第一章开始

文档七章:Quickstart、Inference、Run Locally、Deployment、Quantization、Training、Framework。官方把Quickstart放第一。但最实用的顺序取决于你的硬件和目的:

  1. 显存≥24GB,想最快体验:读Quickstart和Inference。Quickstart演示基本用法,Inference给Transformers示例代码。
  2. 显存<24GB:先读Quantization,决定用GGUF还是其他量化,然后读Run Locally(ollama、llama.cpp、LM Studio)。这些框架不需要写代码,按步骤走。
  3. 生产环境多卡:读Deployment(SGLang、vLLM、TGI)。
  4. 需要微调:Training章节目前只有SFT,RLHF标记了TODO。Framework章节有RAG和Agent案例。

我试下来,只看与自己硬件对应的两章就够了。

从零跑起三步

一、去HuggingFace的Qwen3 collection,下载以Qwen3-开头的checkpoint。4B模型约8GB。

二、选框架:

  • 单卡显存<24GB:先量化(Quantization章节),然后用ollama/llama.cpp运行(Run Locally章节)。
  • 单卡显存≥24GB:直接用Transformers(Inference章节有示例代码)。
  • 多卡服务:用vLLM(Deployment章节)。

三、运行。文档Inference章节给出了基于Transformers的代码,把模型路径换成你的本地路径。

唯一提醒:不要从GitHub仓库直接找可执行文件,它没有提供任何脚本。所有可操作的代码和配置都在HuggingFace的模型卡里。

一句话

Instruct干日常,Thinking干推理。低显存跑大模型先看Quantization。文档入口:readthedocs,根据硬件选章节。

这篇文章对你有帮助吗?

发表回复