微软官方发布：1.58位大模型本地CPU推理框架 bitnet.cpp | microsoft/BitNet
一句话说清 bitnet.cpp 是微软官方发布的 1-bit LLM 推理框架。传统模型权重用 FP16 或 INT4，它把每个权重压缩成 -1、0、1 三个值（理论上 1.58 bits）。矩阵乘法退化成了加减法，遇到 0 直接跳过，内存带宽和计算量同时下降。框架用 C++ 写，CPU 支持 A...
一句话说清 bitnet.cpp 是微软官方发布的 1-bit LLM 推理框架。传统模型权重用 FP16 或 INT4，它把每个权重压缩成 -1、0、1 三个值（理论上 1.58 bits）。矩阵乘法退化成了加减法，遇到 0 直接跳过，内存带宽和计算量同时下降。框架用 C++ 写，CPU 支持 A...