📌 项目地址：AlexsJones/llmfit | ⭐ 26,843 颗星 | 🔧 Rust | 📜 MIT
挑模型版本，比挑模型本身还烦
去Hugging Face下一个70B的Llama，搜出来Q3_K_M、Q4_K_M、Q5_K_M、Q8_0、FP16，每个文件大小差几十GB。我见过有人在RTX 4090上下FP16，启动直接OOM。又换Q8，还是跑不动。最后试到Q4，勉强能跑。下载70B的FP16是140GB，两小时流量白花了。
llmfit直接用数据告诉你：哪些能跑，哪些不能，跑多快。
不是算，是测
llmfit扫描你的CPU、GPU、内存、带宽信息。然后从四个角度给每个模型版本打分：
质量（quality）：参数量越大分越高，但不超出硬件能跑的范围。
速度（speed）：根据你的GPU算力和内存带宽，估算每秒生成token数。数据不是空算，来自社区实测。
适配度（fit）：模型能不能完整放进显存+系统内存。8GB显存跑70B Q4直接标红。
上下文（context）：支持多长上下文。24GB显卡跑Q4版本，原生32k但超过16k可能触发swap，会有警告。
结果用颜色标：绿色=能跑，黄色=勉强能跑但可能慢，红色=跑不了。
你下载前就知道。
最聪明的设计：基准共享，越用越准
跑一次 llmfit bench --share，工具在你机器上测真实的tok/s。数据先存本地，你可以选择立即共享，或者攒一批再上传。
共享方式是生成一个PR提交到项目仓库。PR合并后，下个版本发布时，所有相同硬件配置的用户直接看到 ✓ 符号（已实测）和校准后的预测。
举个例子：你想知道RTX 4090跑Mixtral 8x7B Q4的实际速度，查社区基准就行。数据来自和你同型号硬件的真实测量，比任何博客评测都准。不需要装gh CLI，不需要第三方账号。每次提交的数据在下个版本就生效。
这种设计我觉得聪明的地方在于：不是中心化收集数据，而是每个用户自己测、自己决定是否共享。共享的人多了，整个社区的预测精度就会提高。而且提交门槛极低——一条命令，不需要注册、不需要PR经验。
安装
macOS/Linux推荐Homebrew预编译版：
brew install AlexsJones/llmfit/llmfitWindows用Scoop：
scoop install llmfit通用方法（一条命令，无需依赖）：
curl -fsSL https://llmfit.axjns.dev/install.sh | sh不想用sudo就装到用户目录：
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --localPython用户直接用uv临时跑：
uvx llmfit装完直接输llmfit启动TUI界面。要自动化跑脚本，用llmfit --help看CLI模式。
值在哪
- 下载模型前跑一次：省下载流量和时间，避免下了跑不动的版本。
- 买显卡前查社区基准：看别人同型号显卡的实测速度，避免买错。
- 多GPU或MoE架构自动识别：不需要手动配置。
项目是Rust写的，支持Windows、macOS、Linux。本地运行时支持Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio。
别靠猜。