Prism ML Bonsai 2 27B：ほぼロスレスの三値圧縮により9倍の軽量化を実現

要点

Prism MLは、Qwen 3.8 27Bを三値化（-1, 0, +1）したモデル「Ternary Bonsai 2 27B」をリリースしました。このモデルは5.9 GB（重みあたり実効1.76ビット）というサイズでありながら、フル精度モデルの総合ベンチマークスコアの98.2%を維持しており、同等の能力を保ちつつ9倍以上のサイズ削減を達成しています。

リリースの概要

ベースモデル: Qwen 3.8 27B（最先端の270億パラメータ・マルチモーダルモデル）。
圧縮手法: FP16のグループ単位スケーリングを用いた三値重み付け。実効ビット数は1.76 bits/weight。
モデルサイズ: ディスクおよびメモリ上で5.9 GB（フル精度チェックポイントの52 GBの約9分の1）。
コンテキストウィンドウ: 262 Kトークン。
モダリティ: テキストおよび画像入力。
ライセンス: Apache 2.0。
対応ランタイム: NVIDIA GPU上のCUDA、macOS/iOS上のApple MLX、およびGGUFファイル用のPrism独自フォークの llama.cpp。

ベンチマーク性能

多様なスイート（推論、数学、コーディング、指示追従、視覚、エージェント的なツール使用）全体において、Bonsai 2 27Bは83.9を記録しました。これはフル精度のQwen 3.8 27Bの総合スコア（85.4）の**98.2%**に相当します。タスクごとの詳細は以下の通りです。

能力	Bonsai 2 27B	Qwen 3.8 27B	Qwen 3.6 27B
エージェントおよびツール呼び出し (τ²‑bench)	77.57	79.74	80.05
コーディング (HumanEval+, LiveCodeBench)	81.58	82.17	82.57
指示追従	82.66	81.25	74.53
知識および推論 (MMLU‑Redux, GPQA)	83.95	86.66	84.71
数学 (AIME, GSM8K, MATH‑500)	96.57	97.06	94.64
視覚 (CharXiv, A‑OKVQA, OmniDocBench)	78.59	81.64	79.82
総合	83.9	85.4	83.6

図I: ベンチマークスコア（思考モード）は、Bonsai 2 27Bがフル精度のベースラインに肉薄しつつ、メモリ使用量を大幅に抑えていることを示しています。

最も重要な観察結果は、コーディング、視覚、および長期的なエージェントタスクにおいて、その能力の大部分が維持されているという点です。これらは通常、強力な量子化によって性能が著しく低下しやすい領域です。

インテリジェンス密度

Bonsai 2 27Bは、27 Bクラスのモデルの中で最高の「GBあたりの知能」を提供します。付属の密度チャート（ブログ内の図II）では、従来の8ビットや4ビット量子化を大きく上回っており、この三値化手法がトレードオフの空間において特異な存在であることを裏付けています。

スループットとエネルギー効率

ハードウェア	トークン/秒 (生成)	エネルギー (mWh/トークン)
NVIDIA RTX 5090	143	—
NVIDIA RTX 4090	—	0.714
Apple M5 Max	46.8	—

RTX 4090において、Bonsai 2 27Bはフル精度の8 Bモデルと比較してトークンあたりのエネルギー消費が40%削減されており、バッテリー制約のあるデバイスや常時バックグラウンドで動作するアシスタントにとって魅力的です。

実世界への影響

ローカルでのナレッジワーク: クラウドとの通信なしで、コーディングアシスタントのループ、プライベートなドキュメント分析、マルチモーダルなデバッグが可能になります。
ハードウェアのアクセシビリティ: 16 GBのGPU（例：RTX 3060）や、Prismの llama.cpp フォークを使用したAppleシリコン上で快適に動作します。
経済的シフト: メモリと電力コストを削減し、データセンターのラックやオンデバイス環境でのモデル密度を高めることができます。

コミュニティのフィードバック (Hacker Newsのコメント)

インストールのヒント: ユーザーからは、GGUFモデルがPrismのカスタム llama.cpp フォークで動作することが報告されています。コマンドラインの例（macOS, M5 Pro）では、再起動後に最大44 tok/sのスパイクを記録しつつ、平均約20 tok/sで動作します。 (-ngl 99 -fa on -c 32768)
性能のばらつき: Mac Mini M2 (16 GB RAM) で7-8 tok/s、6 GB GPUで0.67 tok/sという報告があり、スムーズな動作には十分なVRAM（約8 GB）が必要であることが示唆されています。
他の量子化との比較: あるコメントでは、同じベースモデルのQ2量子化（約2.6 bits/weight）は「明らかに性能が劣る」境界線にあると指摘されており、Bonsaiの三値化アプローチの方が品質とサイズのトレードオフが優れていることが示唆されています。
ブラウザデモ: コミュニティが構築したWebGPUデモでは、ブラウザ内でモデルを完全に実行できますが、長時間のタスクでは不安定になるという報告があります。
推論デコード (Speculative Decoding): Radeon RX 7900 XTXでのベンチマークでは、推論デコードを使用して生成時約89 tok/s、取り込み時約474 tok/sに達し、24 KコンテキストでピークVRAMは約10 GiBでした。
ハードウェア互換性の質問: AMD/HIPサポートに関する質問に対し、PTQ2_0バリアントを使用するという回避策が提示されました。これはAMD GPUで高速ですが、わずかに多くのVRAMを必要とします。
補足: 5.9 GBという数値は、三値化された重みのディスクおよびメモリ上のフットプリントを指しており、実行時のメモリ使用量はこれにテンソルスケーリングのオーバーヘッドを加えたものとほぼ同等です。

始め方

Hugging FaceからGGUFモデルをダウンロードします: prism-ml/Ternary-Bonsai-2-27B-gguf。
Prismの llama.cpp フォークをインストールします (リリース prism-b10685-7dffb15)。

サーバーを実行します:

./llama-prism-b10685-7dffb15/llama-server \
    -m Ternary-Bonsai-2-27B-PTQ1_0.gguf \
    --port 8331 -ngl 99 -fa on -c 32768

内蔵のWeb UIまたはOpenAI互換のAPIエンドポイント経由でクエリを送信します。

今後の展望

Prism MLのロードマップには、Qwen 3.8をベースにした8 B v2モデルが記載されており、スマートフォンへの直接デプロイを目指しています。また、三値圧縮をより大規模なMoEモデル（例：Qwen 3.8-Flash-Next）に拡張することや、AMD/HIPパイプラインへの技術統合についてもコミュニティの関心が高まっています。

結論

Ternary Bonsai 2 27Bは、27 Bスケールのマルチモーダルモデルにおいて、ほぼロスレスの圧縮が実用的であることを証明しました。6 GB未満のフットプリント、高いスループット、そして最も要求の厳しいタスクでの強力なパフォーマンスを実現しています。このリリースは、最先端の研究モデルと日常的なデバイスのハードウェア制約との間のギャップを埋め、AIがスタック全体でどのようにデプロイされるかを再定義するものです。