微软官方发布:1.58位大模型本地CPU推理框架 bitnet.cpp | microsoft/BitNet
一句话说清楚 bitnet.cpp 是微软官方的 1-bit LLM 推理框架,专跑 BitNet b1.58 这类模型。传统 LLM 权重用 FP16 或 INT4,BitNet 把每个权重压成 -1、0、1 三个值(1.58 bits)。矩阵乘法变成加减法,遇到 0 直接跳过,算力和内存都省。框...
一句话说清楚 bitnet.cpp 是微软官方的 1-bit LLM 推理框架,专跑 BitNet b1.58 这类模型。传统 LLM 权重用 FP16 或 INT4,BitNet 把每个权重压成 -1、0、1 三个值(1.58 bits)。矩阵乘法变成加减法,遇到 0 直接跳过,算力和内存都省。框...