Bonsai-demo: ローカルでのビジョンと推論を可能にする高圧縮1ビットおよびトライナリーモデル（コンシューマーデバイス向け）

何を解決するか

Bonsaiは、大規模なAI機能（ビジョン、推論、ツール呼び出しを含む）を、iPhoneやラップトップなどのコンシューマーハードウェア上でローカルに実行できるようにする、高圧縮言語モデル（1-bit and ternary）のファミリーを提供します。巨大なVRAMやメモリオフロードを必要としません。

仕組み

このプロジェクトは、モデルのメモリフットプリントを削減するために極端な量子化（1-bit and ternary weights）を利用します。llama.cpp と MLX と統合し、macOS (Metal)、Linux、Windows (CUDA, Vulkan, ROCm) 全域でハードウェアアクセラレートされた推論を実現します。27B モデルは、マルチモーダル入力用のビジョンプロジェクターと、ユーザーがリクエストごとに「思考」の労力を予算化できる推論メカニズムを特別に組み込んでいます。

対象者

パワフルで大規模コンテキスト（256k+ トークンまで）のビジョン言語モデルを限られたハードウェア上でローカルに実行したい開発者およびAI愛好家、そして極端な量子化フォーマットのテストに関心がある人々。

ハイライト

• Extreme Compression: 1.7B から 27B パラメータのサイズで利用可能な 1-bit と ternary モデルファミリー。
• Multimodal Capabilities: 27B モデルは画像、スクリーンショット、PDFをサポートします。
• Agentic Features: ネイティブな OpenAI スタイルのツール呼び出しと MCP サーバー統合。
• Reasoning Model: 調整可能な reasoning バジェットを備えた組み込みの