JustVugg/colibri

colibriは、非常に大規模なオープンウェイトAIモデル（混合エキスパート言語モデル、視覚モデル、意思決定モデル）を一般的なコンピュータで実行するための、小型で純粋なC言語エンジンです。GPUは必須ではありませんが、利用可能な場合は活用できます。その核心的な仕組みは、GLM-5.2 (744Bパラメータ) のような巨大モデルが各トークンに対して重みのごく一部しかアクティブ化しないという特性を利用している点です。colibriは常に必要な「密」な部分をRAMに保持し、めったに使用されない「エキスパート」の重みを必要に応じてディスクからストリーミングします。これにより、通常なら数百GBのVRAMを必要とするモデルを、8〜16GBのRAMと高速なNVMeドライブを搭載したマシンで実行可能にします。

仕組み

• 混合エキスパート (MoE) モデルは多くの並列な「エキスパート」サブネットワークを持ち、トークンごとに使用されるのはその一部です。colibriはこの疎性を活用します。
• 密な層（アテンション、共有エキスパート、埋め込み）はRAMに常駐します。ルーティングされたエキスパートは、会話で使用されるものを学習するキャッシュを通じてディスクから読み込まれます。
• GPUが存在する場合、最も頻繁に使用されるエキスパートと密な層を保持し、推論を加速できます。エンジンはVulkan（Vulkan 1.2ドライバを搭載したあらゆるGPU）とCUDA（Linux/Windows上のNVIDIAカード）をサポートしています。
• エンジンはC言語で記述され、モデルファミリーごとに1つのファイルで構成されており、監査可能かつ測定可能なオープンな研究プラットフォームとして設計されています。

実行可能なモデル

• 言語モデル: GLM-5.2/5.3, DeepSeek V4 Flash, Kimi K3 (2.8T パラメータ), Qwen3.6, Qwen3-Coder, OLMoE など。
• 画像生成: Qwen-Image-2.1。
• 意思決定モデル（高速な単一回答分類器）: Laya, GLiNER2.5-Decide, Clef。
• すべてのモデルはオープンウェイトであり、Hugging Faceからダウンロードされます。

はじめ方

• Windows, Linux, macOS用の一括インストーラー: ダウンロードして START-HERE.bat または ./start-here.sh を実行し、質問（モデルの選択）に答えるだけで、ハードウェアの検出、適切なモデルの推奨、エンジンのビルド/ダウンロード、モデルのダウンロード、そしてブラウザダッシュボードを備えたローカルサーバーの起動までを自動で行います。
• サーバーはOpenAIおよびAnthropic互換のAPIを公開しているため、既存のツールに接続できます。
• MCPサーバー (coli mcp) を使用すると、AIコーディングアシスタントがプログラムからcolibriをインストールおよび管理できます。

主な機能

• ディスクからのストリーミング: 必要に応じてエキスパートを読み込むことで、RAMよりもはるかに大きなモデルを実行します。
• GPU加速: VulkanまたはCUDAビルドを選択可能。セットアップがハードウェアに最適なバックエンドを自動的に選択します。
• 透明性と測定可能性: すべての最適化は再現可能なベンチマークによって裏付けられており、ダッシュボードでエキスパートのアクティブ化をリアルタイムで確認できます。
• 再開可能なダウンロード: 不足しているパッケージ、GPUドライバの問題、ディスク容量の問題を処理する堅牢なセットアップ。

ハードウェア要件

• 最小8GB RAM（16GB以上推奨）、最小モデルで22GBの空きディスク容量、インターネット接続。GPUはオプションです。
• 大規模モデルの場合、高速なNVMe SSDが不可欠です。ディスク速度がトークン生成を制限するためです。

重要性 colibriは、モデルの精度やルーティングのセマンティクスを勝手に変更することなく、人々がすでに所有しているハードウェアで最先端のオープンモデルを実行可能にすることで、その利用を民主化します。これは実用的なツールであると同時に、効率的なMoE推論のための研究プラットフォームでもあります。