microsoft/BitNet

解决的问题

bitnet.cpp 是一个专为高效运行 1 位（三值）大语言模型（LLMs）而设计的推理框架。它解决了全精度模型的高计算和高能耗问题，使最大达 1000 亿参数的大模型能够在单个 CPU 上以接近人类阅读速度的性能运行。

工作原理

该框架为 CPU（x86 和 ARM）和 GPU 提供了优化的内核，利用三值权重（1.58 位）实现快速且无损的推理。它支持多种量化类型（如 I2_S 和 TL1），并可将 .safetensors 检查点转换为 GGUF 格式以供执行。

适用人群

适用于希望在边缘设备或资源受限环境中部署 LLM 的开发者和研究人员，尤其适合对仅 CPU 推理或低功耗有严格要求的场景。

主要亮点

• 显著提速：相比全精度模型，在 x86 CPU 上最高提速 6.17 倍，在 ARM CPU 上最高提速 5.07 倍。
• 能效提升：在 x86 上最多降低 82.2% 的能耗，在 ARM 上最多降低 70.0%。
• 广泛硬件支持：针对 x86 和 ARM CPU 优化，并提供官方 GPU 内核支持。
• 1 位嵌入模型：支持 1 位嵌入模型（0.6B 和 270M），在保持与竞争模型相当质量的同时，实现更快的 CPU 推理速度。