llmfit：一行命令匹配本地硬件的LLM模型筛选器 | AlexsJones/llmfit
挑模型版本，比挑模型本身还烦 去Hugging Face下一个70B的Llama，搜出来Q3_K_M、Q4_K_M、Q5_K_M、Q8_0、FP16，每个文件大小差几十GB。我见过有人在RTX 4090上下FP16，启动直接OOM。又换Q8，还是跑不动。最后试到Q4，勉强能跑。下载70B的FP16是...
挑模型版本，比挑模型本身还烦 去Hugging Face下一个70B的Llama，搜出来Q3_K_M、Q4_K_M、Q5_K_M、Q8_0、FP16，每个文件大小差几十GB。我见过有人在RTX 4090上下FP16，启动直接OOM。又换Q8，还是跑不动。最后试到Q4，勉强能跑。下载70B的FP16是...