microsoft/BitNet

解決的問題

bitnet.cpp 是一個專為高效執行 1 位（三值）大型語言模型（LLMs）而設計的推論框架。它解決了全精度模型的高運算與高耗能問題，使最大達 1000 億參數的大模型能在單一 CPU 上以接近人類閱讀速度的效能運行。

工作原理

此框架為 CPU（x86 和 ARM）與 GPU 提供最佳化內核，利用三值權重（1.58 位）實現快速且無損的推論。支援多種量化類型（如 I2_S 和 TL1），並可將 .safetensors 檢查點轉換為 GGUF 格式以供執行。

適用對象

適合希望在邊緣裝置或資源受限環境中部署 LLM 的開發者與研究人員，尤其適用於對僅 CPU 推論或低功耗有嚴格要求的場景。

主要亮點

• 顯著提速：相比全精度模型，在 x86 CPU 上最高提速 6.17 倍，在 ARM CPU 上最高提速 5.07 倍。
• 能效提升：在 x86 上最多降低 82.2% 的能耗，在 ARM 上最多降低 70.0%。
• 廣泛硬體支援：針對 x86 和 ARM CPU 最佳化，並提供官方 GPU 內核支援。
• 1 位嵌入模型：支援 1 位嵌入模型（0.6B 和 270M），在保持與競爭模型相當品質的同時，實現更快的 CPU 推論速度。