llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
去年我三次下载大模型：70B Q4、34B Q5、还有那个据说能在32GB内存上跑的Mistral变体。三次，每次下载完不是OOM就是每秒一个token地跑，最后删掉重下。浪费三小时。 问题不是模型差，是没有人告诉你“你这张RTX 4060能不能跑Llama 3.1 70B Q4_K_M”。llmf...
去年我三次下载大模型：70B Q4、34B Q5、还有那个据说能在32GB内存上跑的Mistral变体。三次，每次下载完不是OOM就是每秒一个token地跑，最后删掉重下。浪费三小时。 问题不是模型差，是没有人告诉你“你这张RTX 4060能不能跑Llama 3.1 70B Q4_K_M”。llmf...