llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
📌 项目地址：AlexsJones/llmfit | ⭐ 26,843 颗星 | 🔧 Rust | 📜 MIT 选本地模型这事，网上教程给的建议往往是“7B Q4 能跑”。但你不知道的是，这句话默认你有 24GB 显存。如果你拿 8GB 显存的机器跑 7B Q4，每秒吐三个 token，不是模型不行...
📌 项目地址：AlexsJones/llmfit | ⭐ 26,843 颗星 | 🔧 Rust | 📜 MIT 选本地模型这事，网上教程给的建议往往是“7B Q4 能跑”。但你不知道的是，这句话默认你有 24GB 显存。如果你拿 8GB 显存的机器跑 7B Q4，每秒吐三个 token，不是模型不行...