microsoft/BitNet

何を解決するか

bitnet.cpp は、1ビット（3値）の大規模言語モデル（LLM）を高効率で実行するための推論フレームワークです。フル精度モデルの高い計算コストとエネルギー消費を低減し、最大1000億パラメータの大きなモデルを単一のCPU上で、人間の読書速度と同等の速度で実行可能にします。

仕組み

このフレームワークは、x86およびARM CPU、およびGPU向けに最適化されたカーネルを提供し、3値重み（1.58ビット）を使用して高速かつ損失のない推論を実現します。さまざまな量子化形式（I2_SやTL1など）をサポートしており、.safetensors形式のチェックポイントをGGUF形式に変換して実行できます。

対象ユーザー

エッジデバイスやリソース制約のある環境でLLMをデプロイしたい開発者や研究者向けです。CPUのみでの推論や低エネルギー消費が重要な場面に最適です。

主な特徴

• 大幅な高速化: x86 CPUでは最大6.17倍、ARM CPUでは最大5.07倍の速度向上を実現。
• エネルギー効率の向上: x86では最大82.2%、ARMでは最大70.0%のエネルギー消費削減。
• 広範なハードウェア対応: x86およびARM CPUに最適化されており、公式のGPUカーネルも提供されています。
• 1ビット埋め込みモデル: 1ビット埋め込みモデル（0.6Bおよび270M）をサポートし、高速なCPU推論を実現しながら、競争力のある品質を維持。