微软官方发布：1.58位大模型本地CPU推理框架 bitnet.cpp | microsoft/BitNet
微软的 bitnet.cpp 是个推理框架，专跑 1.58-bit 的大模型。正常模型权重用 FP16（16位浮点数），这个框架把每个权重限死在三个值：-1、0、1。乘法和加法直接退化成加减法，碰到 0 的权重直接跳过。结果就是计算量和内存带宽都能砍掉一大截，而且模型精度损失在可接受范围内。 这事的...
微软的 bitnet.cpp 是个推理框架，专跑 1.58-bit 的大模型。正常模型权重用 FP16（16位浮点数），这个框架把每个权重限死在三个值：-1、0、1。乘法和加法直接退化成加减法，碰到 0 的权重直接跳过。结果就是计算量和内存带宽都能砍掉一大截，而且模型精度损失在可接受范围内。 这事的...