tc-mb/llama.cpp-omni

解決する課題

llama.cpp-omni は、オムニモーダルモデル（MiniCPM-o 4.5 など）向けの高性能なローカル推論エンジンを提供します。ビジョンおよびオーディオエンコーディングからテキスト読み上げ合成までのパイプライン全体を、単一の効率的なC++フレームワークに最適化することで、コンシューマーハードウェア上でリアルタイムの全二重音声・ビデオインタラクションを実現します。

仕組み

このエンジンは llama.cpp エコシステムに基づいており、複雑な MiniCPM-o アーキテクチャをモジュール化された GGUF ファイルに分割します。ビデオ、オーディオ、テキストの並列ストリームを同期するために、時分割多重（TDM）メカニズムを使用します。入力を1秒単位で処理し、生成に非同期キューを使用することで、モデルはブロックすることなく同時に「聞く」と「話す」ことができ、プロアクティブで人間らしい会話を可能にします。

対象ユーザー

このプロジェクトは、クラウドAPIに依存せずに、自分のハードウェア（Windows、Linux、macOS）上で高度なマルチモーダルAIエージェントをローカルに実行したい開発者や研究者向けです。リアルタイムの音声アシスタントやインタラクティブなビデオ通話アプリケーションを構築する人々に特に役立ちます。

ハイライト

• 全二重ストリーミング：同時入力（ビデオ/オーディオ）と出力（音声/テキスト）をサポートし、流暢なリアルタイムインタラクションを実現。
• 高性能：RTX 4090 や Apple M4 Max などのコンシューマーハードウェアで、最初のトークンまでのレイテンシを650ミリ秒未満に達成。
• モジュラーアーキテクチャ：ビジョン（VPM）、オーディオ（APM）、言語（LLM）、音声（TTS）コンポーネントを GGUF モジュールに分離し、柔軟なデプロイを実現。
• プロアクティブインタラクション：モデルがストリームを継続的に監視し、いつ自発的に話すかを決定できるようにします。
• エコシステム互換性：llama.cpp ツールチェーンと完全互換で、一般的な量子化形式（F16、Q8_0、Q4_K_M）をサポートします。