sgl-project/sglang-omni

解決する課題

SGLang-Omniは、複雑なマルチモーダルモデル、特に音声、テキスト読み上げ（TTS）、および「オムニ」モデル（マルチモーダル入力・マルチモーダル出力）に特化した高性能なサービングランタイムを提供します。これは、単一のリクエストが異なる計算パターン（エンコーダー、自己回帰エンジン、ボコーダーなど）を通過する必要があり、それぞれが異なるリソース要件やスケジューリング要件を持つ「マルチステージデコーディング」という課題に対処します。

仕組み

このシステムは、モデル生成を一連の調整されたステージ（前処理、エンコーダー、自己回帰エンジン、トーカ、デコーダー、ボコーダー、アグリゲーター）として扱います。各ステージに特化したスケジューラーを使用し、特定のワークロードに適合させます。コントロールプレーンがリクエストを管理し、リレーデータプレーンがテンソルペイロードをさまざまなバックエンド（shared-memory、NCCL、NIXL、Mooncake）間で移動させます。SGLangと統合して高性能な自己回帰スケジューリングを実現し、マルチモーダルチャット、音声生成、文字起こしのためにOpenAI互換のAPIインターフェースを提供します。

対象ユーザー

音声対音声やテキスト読み上げモデルの低遅延かつ高スループットなサービングを必要とするアプリケーションを構築する開発者や研究者、およびNVIDIA CUDA、Apple Silicon、またはIntel GPU上でオムニモデルをデプロイするユーザー向けに設計されています。

ハイライト

• 幅広いモデルサポート: Qwen3-Omni、MiniMax Music 3、およびMOSS-TTSやNemotron 3.5 ASRといったさまざまなTTSおよびASR（自動音声認識）モデルを含む、多種多様なモデルを提供します。
• マルチステージランタイム: 生成パイプライン全体にわたる異種混合の計算パターンに最適化されています。
• OpenAI互換: 音声生成、バッチ/ストリーミング音声、文字起こし用の標準的なエンドポイントを提供します。
• クロスハードウェアサポート: NVIDIA CUDA、Apple Silicon（MLX/Torch MPS経由）、およびIntel GPU（XPU）をサポートしています。