Bonsai 27B が 1 ビット量子化で 270 億パラメータ AI をスマートフォンへ
Bonsai 27B が 1 ビット量子化で 270 億パラメータ AI をスマートフォンへ
Bonsai 27B が 270 億パラメータモデルをスマートフォンに搭載
要点: PrismML は Qwen 3.6 27B モデルの低ビット版を 2 つリリースしました――三値 (5.9 GB) と 1 ビット (3.9 GB)――それぞれノートパソコンと iPhone 17 Pro デバイスで動作し、15 のベンチマークスイート全体でフル精度ベースラインの 95% と 90% を維持しています。
ハードウェア別の 2 つの動作モード
結論: 三値版は品質重視のノートパソコン向け、1 ビット版は最新スマートフォンのメモリ予算に合わせた設計です。
- 三値 Bonsai 27B – 重みは三値 (−1, 0, +1) に FP16 グループ単位のスケーリングを組み合わせ、実質 1.71 ビット/重みとなります。モデルサイズは 5.9 GB で、一般的なノートパソコン上でフル推論、ツール呼び出し、エージェントループが可能です。
- 1 ビット Bonsai 27B – 重みは二値 (−1, +1) に同様のスケーリングを適用し、実質 1.125 ビット/重みとなります。3.9 GB で iPhone 17 Pro の約 4 GB 使用可能メモリに収まり、オンデバイスで完全に動作できる初の 27B クラスモデルです。
両バリアントは低ビット表現をエンドツーエンドで保持します（埋め込み、アテンション、MLP、LM ヘッドすべて）。さらにコンパクトな 4 ビットビジョンタワーを搭載し、スクリーンショット、文書、カメラフレームといったマルチモーダル入力に対応します。
ベンチマーク性能は知能の低下が最小限
結論: 数学、コーディング、ツール呼び出し、指示実行、知識・STEM、ビジョンタスクすべてで、Bonsai 27B はフル精度 Qwen 3.6 27B に対し数ポイントしか劣りません。
| カテゴリ | フル精度 Qwen 3.6 27B | 三値 Bonsai 27B | 1 ビット Bonsai 27B |
|---|---|---|---|
| Math | 95.3 | 93.4 | 91.7 |
| Coding | 88.7 | 86.0 | 81.9 |
| Agentic & Tool‑calling | 80.0 | 74.0 | 66.0 |
| Instruction following | 78.4 | 71.8 | 65.8 |
| Knowledge / STEM | 83.1 | 77.0 | 73.4 |
| Vision | 72.6 | 65.2 | 59.6 |
| Overall (15 benchmarks) | 85.0 | 80.5 | 76.1 |
表から分かるように、数学とコーディングのスコアは 3 ポイント未満の低下にとどまり、ツール呼び出しは 14 ポイント以内のギャップです――エージェントワークロードにとって重要です。著者らは、同じベースモデルを従来の 4 ビット量子化した場合、メモリ使用量が 2.5 倍になり、1 ビット Bonsai バリアントより大幅にスコアが低くなると指摘しています。
知能密度: GB あたりの能力向上
結論: Bonsai 27B は知能／GB 指標でフル精度ベースラインの 10 倍以上の効率を実現し、コストパフォーマンスの新境地を切り開きました。
- 知能密度 はベンチマークスコアをモデルサイズ (GB) で割ったものです。1 ビットバリアントは 0.53 ポイント/GB を達成し、非圧縮 27B モデルの約 0.05 ポイント/GB と比較して大幅に上回ります。
- これはフル精度に対して >10×、既存の低ビット代替品に対して約 2.7× の改善です。
オンデバイスエージェント AI が重要な理由
結論: ローカル実行によりトークン単位の API コストがなくなり、レイテンシが削減され、ユーザーデータが保護されるため、永続的かつオフラインのアシスタントが実現します。
- エージェントワークロードはタスクごとに数百回のモデル呼び出しを伴い、各呼び出しでコンテキストと構造化出力をやり取りします。クラウド専用 API ではネットワーク遅延と累積トークン料金が発生します。
- デバイス上に収まるモデルなら、ループ全体をローカルで完結でき、数百ステップのワークフローの限界コストは実質的にゼロになります。
- ハイブリッドアーキテクチャも実現可能です――プライバシーが重要なステップは端末で、最も負荷の高い推論だけをクラウドに委ねます。
本発表には、RTX 5090 GPU 上でのマルチステップエージェントワークフローと、キャッシュ画像コンテキストを処理するマルチモーダル iPhone デモの動画が含まれています。
実測スループット数値
結論: Bonsai 27B はハイエンド GPU と Apple Silicon の両方で実用的なトークン/秒レートを達成しています。
- NVIDIA GeForce RTX 5090: 163 tok/s (1‑bit) と 134 tok/s (ternary)。
- Apple M5 Max: 87 tok/s (1‑bit) と 58 tok/s (ternary)。
これらの速度はインタラクティブチャットや多くのエージェントパイプラインに十分で、さらにスペキュレーティブデコーディング（draft‑and‑verify）と組み合わせることでレイテンシをさらに削減できます。
コミュニティの反応と質問
結論: 初期採用者は性能比較、統合のハードル、AI デプロイ全体へのインパクトについて探求しています。
"最も見たいのは Gemma 4 12B の 4‑bit QAT 版との比較です。約 7 GB でほとんどのデバイスで動作し、ツール使用とビジョン性能が優れています。" – SwellJoe
"ベンチマークスコアが親モデルからの知能保持を示すものか、テストセットでのファインチューニングによるものか、どうやって判断すればいいですか？" – motbus3
"KV‑cache の使用が非常に節約的で、マルチエージェントのコーディングワークフローに革命をもたらす可能性があります。" – erwan577
"Hugging Face のリリースを LM Studio で試したが、GGUF と MLX ビルドが動作しませんでした。エンジン側のアップデートが必要でしょう。" – simonw
これらのコメントは、4‑bit QAT モデルとの直接比較、評価手法の透明性、新フォーマット向けツールチェーンのサポートへの需要を示しています。
提供形態とライセンス
結論: モデルと低ビットカーネルは Apache 2.0 で公開され、開発者向けの無料プレビュー API が用意されています。
- プラットフォーム: Apple デバイスは MLX 経由でネイティブサポート、NVIDIA GPU はカスタム CUDA カーネルで対応。
- ドキュメント: 圧縮アルゴリズム、評価パイプライン、ベンチマークスイートを含む技術詳細は公開ホワイトペーパーに掲載されています。
今後の展望: 知能密度を新たな AI 指標へ
結論: パラメータ数だけでなく、メモリあたりの性能（知能密度）が先端 AI の実行場所を決定づけます。
PrismML の手法はアーキテクチャに依存しないため、将来的により大規模なモデルや新しいトランスフォーマーバリエーションが登場しても、密度のフロンティアはさらに押し上げられるでしょう。著者は現在の変化を、部屋サイズのコンピュータからポケットサイズのスマートフォンへの歴史的転換に例えています。
結論: Bonsai 27B は 270 億パラメータのマルチモーダルモデルが最新スマートフォン上でフル精度の 10% 以内の性能低下で動作できることを示し、オフライン・プライバシー保護・コストフリーなエージェント AI を消費者ハードウェアへ実装する道を開きました。