llmfit:一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
📌 项目地址:AlexsJones/llmfit | ⭐ 26,843 颗星 | 🔧 Rust | 📜 MIT 选本地模型,网上最常见的建议是“7B Q4 能跑”。但这句话没头没尾:它没说是7B还是70B,没说是Q4还是Q8,更没说跑在什么硬件上。24GB显存的机器跑7B Q4,和8GB显存的机器跑...
📌 项目地址:AlexsJones/llmfit | ⭐ 26,843 颗星 | 🔧 Rust | 📜 MIT 选本地模型,网上最常见的建议是“7B Q4 能跑”。但这句话没头没尾:它没说是7B还是70B,没说是Q4还是Q8,更没说跑在什么硬件上。24GB显存的机器跑7B Q4,和8GB显存的机器跑...