NVIDIA 开源模型压缩工具:量化、剪枝、蒸馏一个工具全包,直接对接 vLLM 和 TensorRT | Model-Optimizer
📌 项目地址:NVIDIA/Model-Optimizer | ⭐ 3,982 颗星 | 🔧 Python | 📜 未标注 一个实际问题:FP4 量化掉精度怎么办 现在做 LLM 部署的团队基本都要面对量化。PTQ(后训练量化)便宜,几条命...
📌 项目地址:NVIDIA/Model-Optimizer | ⭐ 3,982 颗星 | 🔧 Python | 📜 未标注 一个实际问题:FP4 量化掉精度怎么办 现在做 LLM 部署的团队基本都要面对量化。PTQ(后训练量化)便宜,几条命...