llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
下载模型前先看这个。不需要你算显存、换算力、测试过多少个版本。打开终端，执行 llmfit，工具扫描你的 CPU、GPU、内存、带宽，直接生成一张表——每行一个模型版本，绿的是能跑，黄的是勉强能跑但可能慢，红的是跑不了。 我是被 70B 的 FP16 搞过。下载了一百四十多 GB，启动直接 OOM，...
下载模型前先看这个。不需要你算显存、换算力、测试过多少个版本。打开终端，执行 llmfit，工具扫描你的 CPU、GPU、内存、带宽，直接生成一张表——每行一个模型版本，绿的是能跑，黄的是勉强能跑但可能慢，红的是跑不了。 我是被 70B 的 FP16 搞过。下载了一百四十多 GB，启动直接 OOM，...