llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
问题：下载一堆模型，一个都跑不动 你遇到过这种情况吗？看到别人说“32GB内存能跑Mixtral 8x7B Q4”，下载下来一试，OOM或者每秒一个token。问题不是模型不好，而是没有人告诉你你的具体硬件能不能跑。llmfit就是填这个空位的：读取你的CPU、内存、GPU型号、显存大小和带宽，从内...
问题：下载一堆模型，一个都跑不动 你遇到过这种情况吗？看到别人说“32GB内存能跑Mixtral 8x7B Q4”，下载下来一试，OOM或者每秒一个token。问题不是模型不好，而是没有人告诉你你的具体硬件能不能跑。llmfit就是填这个空位的：读取你的CPU、内存、GPU型号、显存大小和带宽，从内...