llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
一个现实问题 本地跑LLM，很多人是按网上教程下模型。教程说7B Q4能跑，结果自己的机器每秒吐三个token。不是模型不行，是没人告诉你它在你的硬件上什么表现。 llmfit是个终端工具，它读你机器的CPU、内存、GPU型号、显存容量、显存带宽，然后对每个模型-量化组合算四个分数。绿标是能跑，红标...
一个现实问题 本地跑LLM，很多人是按网上教程下模型。教程说7B Q4能跑，结果自己的机器每秒吐三个token。不是模型不行，是没人告诉你它在你的硬件上什么表现。 llmfit是个终端工具，它读你机器的CPU、内存、GPU型号、显存容量、显存带宽，然后对每个模型-量化组合算四个分数。绿标是能跑，红标...