📌 项目地址：Andyyyy64/whichllm | ⭐ 3,330 颗星 | 🔧 Python | 📜 未标注
选本地模型，别再只看参数大小
在本地跑 LLM 的人都有这个困境：同一个模型名，有不同量化版本、不同大小，到底哪个能跑得动、跑得好？光看参数量远远不够——Qwen3-32B 可能比 Qwen3.6-27B 更大，但后者因为更新、基准分数更高，实际体验反而更好。手动去 HuggingFace 翻排行榜、算 VRAM、猜速度，非常耗时。
whichllm 就是来解决这个问题的：自动检测你机器的 GPU/CPU/RAM，实时抓取 HuggingFace 上最新的模型与基准数据，按真实评测（LiveBench、Artatic Analysis、Chatbot Arena ELO 等）排名，告诉你哪个本地模型最适合你的硬件——一句话命令就跑完。
一、快速上手：零配置运行
你不需要安装任何工具，只要机器上有 Python 3.9+ 和 uv（一个超快的 Python 包管理器），一条命令就出结果：
uvx whichllm@latest
想模拟不同硬件（比如换显卡前先看效果）：
uvx whichllm@latest --gpu "RTX 4090"
常用的话就安装到本地：
# 用 uv 安装
uv tool install whichllm
uv tool upgrade whichllm # 更新
# 或者用 Homebrew
brew install andyyyy64/whichllm/whichllm
# 或者直接用 pip
pip install whichllm
安装后直接执行 whichllm 即可，效果和 uvx 一样。
二、核心用法：不止推荐，还能聊、能对比
1. 看看当前机器能跑什么
whichllm
输出是按基准分数排名的 Top 模型。例如模拟 RTX 4090：
$ whichllm --gpu "RTX 4090"
#1 Qwen/Qwen3.6-27B 27.8B Q5_K_M score 92.8 27 t/s
#2 Qwen/Qwen3-32B 32.0B Q4_K_M score 83.0 31 t/s
#3 Qwen/Qwen3-30B-A3B 30.0B Q5_K_M score 82.7 102 t/s
注意 32B 模型其实也能放进 24GB 显存，但 whichllm 依然把 27B 排在第一位，因为它的基准分数更高、模型更新一代。“能跑”不等于“最好”——这是 whichllm 和普通 “VRAM fit” 工具的核心区别。
2. 对比硬件升级方案
whichllm upgrade "RTX 4090" "RTX 5090" "H100"
会输出每张卡在最新模型上的性能表现，帮你决策。
3. 想跑指定模型？先看需要什么卡
whichllm plan "llama 3 70b"
返回推荐的量化版本和所需 VRAM，以及至少需要什么 GPU。
4. 直接跑起来聊天
whichllm run "qwen 2.5 1.5b gguf"
启动一个本地聊天会话（需先安装 llama.cpp 等后端，工具会自动引导）。
5. 输出可复用的代码片段
whichllm snippet "qwen 7b"
打印可直接复制粘贴的 Python 调用代码（比如用 llama-cpp-python 加载模型）。
6. 脚本化输出 JSON
加 --json 参数，可以精确控制数据：
whichllm --top 1 --json
三、硬件匹配参考（非固定榜单）
以下结果是基于 2026-05 实时 HuggingFace 数据 snapshot，你的结果会随更新变化：
| 硬件 | VRAM | 最佳推荐 | 速度 |
|---|---|---|---|
| RTX 5090 | 32 GB | Qwen3.6-27B · Q6_K · score 94.7 | ~40 t/s |
| RTX 4090 / 3090 | 24 GB | Qwen3.6-27B · Q5_K_M · score 92.8 | ~27 t/s |
| RTX 4060 | 8 GB | Qwen3-14B · Q3_K_M · score 71.0 | ~22 t/s |
| Apple M3 Max | 36 GB | Qwen3.6-27B · Q5_K_M · score 89.4 | ~9 t/s |
| 仅 CPU | — | gpt-oss-20b (MoE) · Q4_K_M · score 45.2 | ~6 t/s |
如果你想买卡前模拟，直接用 whichllm --gpu "" 加显卡名即可。
四、和同类工具的区别
- Ollama / LM Studio：它们能拉模型、管理对话，但模型推荐基本靠社区经验或手动选大小，没有自动按基准排名的流程。
- HuggingFace 排行榜：数据都在，但你得自己对照显存、量化级别做手动筛选。whichllm 把检测、筛选、排名、脚本生成一体化。
- 传统的 “VRAM 计算器”：只告诉你能不能跑，不告诉你哪个更好。whichllm 的排名融合了 LiveBench、Chatbot Arena、Aider 等十几个真实评测，参数大≠排名高。
五、注意事项
- whichllm 依赖 uv 或 pip，建议先装 uv 以获得最快的首次执行（
uvx会自动缓存）。 - 推荐结果基于公开排行榜的实时数据，不代表绝对公正（例如某个没有收录的模型可能更好），但比单纯按参数量排序可靠得多。
- 用
--gpu模拟时，显存和带宽数据来自内置的 GPU 数据库，并不百分百精确，但足够做选型参考。 - 许可证是 MIT，可自由使用或修改。
如果想了解更多，直接运行 whichllm --help 或查看 GitHub 仓库。