Qwen2.5-Omni リリース: リアルタイム対話のためのエンドツーエンド・マルチモーダル・モデル

Qwenは、テキスト、画像、音声、ビデオにわたる包括的な知覚のために設計されたフラッグシップ・エンドツーエンド・マルチモーダル・モデルであるQwen2.5-Omniのリリースを発表しました。このモデルは、テキスト生成と自然な音声合成の両方を通じてリアルタイムのストリーミング応答を可能にし、マルチモーダルな対話のためのまとまりのあるインターフェースを提供します。

Thinker-Talker アーキテクチャ

Qwen2.5-Omniは、シームレスなマルチモーダル処理と生成を実現するために、新しい「Thinker-Talker」アーキテクチャを利用しています。このアーキテクチャは、モデルの機能的役割を2つの主要なコンポーネントに分割します。

Thinker: 中央処理装置として機能するThinkerは、音声および画像エンコーダーによってサポートされるTransformerデコーダーです。テキスト、音声、ビデオのモダリティからの入力を処理し、高レベルの表現とテキストを生成します。
Talker: 出力メカニズムとして機能するTalkerは、デュアルトラックの自己回帰Transformer Decoderです。Thinkerからストリーミング形式で高次元の表現とテキストを受け取り、離散的な音声トークンを流動的に出力します。

TalkerはThinkerからのすべての履歴コンテキスト情報を共有するため、システムは単一のまとまりのあるモデルとして動作し、エンドツーエンドのトレーニングと推論を可能にします。

Time-aligned Multimodal RoPE (TMRoPE)

ビデオ入力のタイムスタンプを音声と同期させるために、Qwen2.5-Omniは、マルチモーダル同期のために特別に設計された新しい位置エンコーディングであるTMRoPE (Time-aligned Multimodal RoPE) を導入しています。

能力とパフォーマンス

Qwen2.5-Omniは、リアルタイムの音声およびビデオチャット向けに設計されており、チャンク化された入力と即時の出力をサポートしています。複数のモダリティにわたって強力なパフォーマンスを示し、同規模のシングルモダリティ・モデルに匹敵する性能を発揮します。

マルチモーダル統合

複数のモダリティの統合を必要とするタスクにおいて、Qwen2.5-OmniはOmniBenchベンチマークで最先端のパフォーマンスを達成しています。

シングルモダリティ・パフォーマンス

このモデルは、いくつかの専門分野において高い習熟度を示しています。

Audio: 同規模のQwen2-Audioモデルよりも音声能力において優れており、音声認識 (Common Voice)、翻訳 (CoVoST2)、音声理解 (MMAU) において強力な結果を示しています。
Visual: 画像推論 (MMMU, MMStar) およびビデオ理解 (MVBench) において、Qwen2.5-VL-7Bに匹敵するパフォーマンスを達成しています。
Speech Generation: Seed-tts-evalおよび主観的な自然さのテストによって評価されたように、このモデルは音声生成において優れた堅牢性と自然さを実証しています。
Instruction Following: エンドツーエンドの音声指示への追従性能は、MMLUやGSM8Kなどのベンチマークによって証明されているように、テキスト入力を使用した場合のモデルの有効性に匹敵します。

将来の開発

Qwenは、Qwen2.5-Omniの音声コマンドへの追従能力をさらに強化し、共同的な音響・視覚的理解を向上させることを意図しています。また、研究室は、完全なオムニ・モデルに近づくために、さらなるモダリティの統合を目指しています。