Ternary Bonsai 2 27B リリースノート

Ternary Bonsai 2 27B はローカルデプロイ向けにほぼ損失のない圧縮を実現

Prism ML は、Qwen3.8 27B をベースにしたマルチモーダルモデルである Ternary Bonsai 2 27B をリリースしました。このモデルは、フルプレシジョン版と比べて9倍以上も小さく（5.9GB）、Qwen3.8 27B の総合ベンチマーク性能の98.2%を維持しています。これにより、NVIDIA GPU や Apple Silicon を含む一般消費者向けハードウェアでも、27Bクラスの知能を効率的に実行可能になります。

技術仕様とアーキテクチャ

Ternary Bonsai 2 27B は、三値重み ${-1, 0, +1}$ と FP16 のグループワイズスケーリングを組み合わせています。このアーキテクチャにより、重みあたり1.76ビット（bpw）の有効レートを達成しています。主な技術的特徴は以下の通りです：

• コンテキストウィンドウ： 262Kトークン。
• 入力モダリティ： テキストおよび画像入力のマルチモーダル対応。
• ライセンス： Apache 2.0 ライセンスで公開。
• デプロイ： CUDA を通じた NVIDIA GPU および MLX を使用した Apple デバイス（Mac、iPhone、iPad）に対応。カスタム低ビットカーネルを採用。

パフォーマンスとベンチマーク結果

推論、数学、コーディング、ビジョンをカバーする一連のベンチマークにおいて、Ternary Bonsai 2 27B は 83.9 の総合スコアを達成しました。一方、フルプレシジョンの Qwen3.8 27B は 85.4 でした。

機能	Ternary Bonsai 2 27B	Qwen3.8 27B	Qwen3.6 27B
エージェント機能およびツールコール	77.57	79.74	80.05
コーディング	81.58	82.17	82.57
指示の遵守	82.66	81.25	74.53
知識と推論	83.95	86.66	84.71
数学	96.57	97.06	94.64
ビジョン	78.59	81.64	79.82
総合	83.9	85.4	83.6

Prism ML は、このモデルが低ビット量子化による性能劣化に特に敏感な分野である、コーディングエージェント、ツール使用システム、マルチモーダルワークフローにおいても高いパフォーマンスを維持している点を強調しています。

スループットとエネルギー効率

モデルサイズの削減により、推論速度と電力消費量に顕著な改善が見られます：

• NVIDIA GeForce RTX 5090： 最大143トークン/秒。
• M5 Max： 46.8トークン/秒。
• エネルギー効率： RTX 4090 上では、1トークンあたり0.714 mWh で、フルプレシジョンで動作する8Bモデルと比べて40%高いエネルギー効率です。

コミュニティの意見と反論

公式リリースでは「ほぼ損失のない」パフォーマンスを強調していますが、Hacker News からのコミュニティフィードバックは、モデルの実用性についてより洗練された見方を示しています：

• 信頼性に関する懸念： 一部のユーザーは、長時間のタスクや WebGPU バージョンを使用した際に「劇的に崩壊する」現象を報告しています。
• エージェント機能のパフォーマンス： 一部のテストでは、実際のエージェントタスクで失敗したと指摘されており、あるユーザーは、シンプルな Swift アプリのタスクが25分間の「ブレインストーミング」で完了せず、一方でフロンティアモデル（GPT 5.6 sol-medium）は3分で完了したと述べています。
• 実装の詳細： GGUF バージョンを実行するには、特定の Prism フォーク版 llama.cpp が必要であると指摘されています。
• ハードウェア観察： Radeon RX 7900 XTX でテストしたユーザーは、推測デコードを使用して89トークン/秒の生成速度を達成し、24k コンテキストウィンドウでピークVRAM使用量が10.1 GiBに達したと報告しています。

"長時間のタスクに使うと、驚くべき仕方で崩壊する。"

"実際のエージェントタスクでは、ただ失敗する。"

前世代との比較

Ternary Bonsai 2 27B は、ベースモデルを Qwen3.8 27B にアップグレードし、前世代の Bonsai 27B と比べて、フルプレシジョン基準に対する性能保持率を95%から98%以上に向上させています。