vllm-project/vllm-omni

vLLM‑Omni – オムニモダリティモデルのための統合サービング

概要 – vLLM‑Omni は、人気の vLLM 推論エンジンのオープンソース拡張です。テキスト、画像、音声、ビデオ、さらにはアクション/ロボットポリシー出力など、任意のモダリティのモデルを提供できる 統合ランタイム を追加します。このプロジェクトには、本番レベルのサーバー、人気モデル向けの「レシピ」、およびストリーミング入力（例：マイク音声）を受け付けながらストリーミング出力を返すフルデュプレックスリアルタイム API が含まれています。

重要性 – 従来の LLM サービングフレームワークは、自己回帰テキスト生成のみを処理します。現代の基盤モデルはますますマルチモーダル化しています（例：Qwen‑3‑Omni、MiniCPM‑o、拡散トランスフォーマー）。vLLM‑Omni は以下の方法でそのギャップを埋めます。

• vLLM の高スループット KV キャッシュとスケジューラロジックを再利用。
• 異種モデルコンポーネント間でデータをルーティングできる OmniConnector ステージを追加（例：テキストエンコーダー → 拡散デコーダー → アクションポリシー）。
• 自己回帰 および 非自己回帰 アーキテクチャ（拡散トランスフォーマー、並列生成モデル）をサポート。
• ハードウェアに依存しない 実行：CUDA、ROCm、XPU、NPU、およびマルチノード分散並列処理。

主な機能（README に記載）

機能	詳細
オムニモダリティサポート	単一サーバーでテキスト、画像、音声、ビデオ、アクション生成。
モデルカタログ	多くの Hugging‑Face モデルでそのまま動作：Qwen3‑Omni、MiniCPM‑o 4.5、Cosmos3、BAGEL、TTS モデル（Qwen3‑TTS、Breeze‑TTS‑2）、拡散モデル（MiniMax H3、LingBot World）、ロボットポリシーモデル（π0、DreamZero‑DROID）。
フルデュプレックスリアルタイム API	音声のストリーミング入力と出力が可能で、インタラクティブな音声アシスタントやロボット制御を実現。
動的リソース割り当て	ステージは分離されており、ランタイムは GPU、NPU、CPU 間でワークをオンザフライで移動できます。
並列処理	大規模モデル向けのテンソル、パイプライン、データ、エキスパート並列処理。
OpenAI 互換サーバー	OpenAI のチャット/完了エンドポイントのドロップイン代替。
拡張可能なレシピ	量子化、キャッシュ、ハードウェア固有の調整をカバーする、多数のモデル向けの既製デプロイスクリプト（「レシピ」）。
ステージ間 KV とマルチモーダルペイロード転送	ステージ間の効率的なハンドオフ（例：画像生成のための AR から DiT へのハンドオフ）。

一般的なユースケース

• 画像を見て、音声を聞き、テキスト、音声、または生成された画像/ビデオで応答できる マルチモーダル AI アシスタント の構築。
• リクエストレベルのバッチ処理を使用して、本番規模での リアルタイム拡散生成（画像/ビデオ/音声）のデプロイ。
• センサーストリームを受け取り、アクションコマンドを出力するモデルでの ロボットポリシー推論 の実行。
• 一連の基盤モデルに 単一の API エンドポイント を提供し、クライアント側の統合を簡素化。

はじめに

1. インストール – ドキュメントに従ってください（pip install または Docker）。夜間 CUDA イメージは Docker Hub（vllm/vllm-omni）で利用できます。
2. サーバーを実行 – vllm-omni serve --model Qwen3-Omni --api-key <key> で OpenAI 互換エンドポイントが起動します。
3. レシピを試す – recipes/ フォルダーには、すぐに実行できる設定が含まれています。例：recipes/OpenBMB/MiniCPM-o-4_5.md は MiniCPM‑o モデル用。
4. ドキュメントを探索 – インストール、クイックスタート、リアルタイムデュプレックス API の完全なガイドは https://vllm-omni.readthedocs.io にあります。

コミュニティとサポート

• ドキュメント – https://vllm-omni.readthedocs.io
• ユーザーフォーラム – https://discuss.vllm.ai
• Slack – https://slack.vllm.ai（チャンネル #sig-omni）
• WeChat – リポジトリのアセットに QR コードがあります。
• DeepWiki – 厳選された深掘り記事。
• 引用 – 研究でライブラリを使用する場合は、README に記載されている 2 つの arXiv レポートを引用してください。

ライセンス – Apache License 2.0。

---

要するに、vLLM‑Omni は、高速でスケーラブルなテキスト専用の vLLM エンジンを、汎用のマルチモーダルサービングプラットフォームに変え、開発者や研究者がテキスト、ビジョン、音声、ビデオ、ロボットアクション向けの最先端の基盤モデルを単一の高性能ランタイムでデプロイできるようにします。