Qwen3.5-Omni リリースノート

TL;DR

QwenはQwen3.5‑Omniをリリースしました。これは、テキスト、画像、音声、動画をネイティブに処理し、256kトークンのコンテキストをサポートし、さらに多言語音声認識（113言語）と合成（36言語）を追加した、完全オムニモーダルな新世代の大規模言語モデルです。また、セマンティックなターンテイキング、ウェブ検索、関数呼び出し、音声制御、音声クローンなどのリアルタイムインタラクション機能も備えています。

概要

Qwen3.5‑Omniは、Qwenのオムニモーダルファミリーの最新バージョンです。前バージョンのQwen3‑Omniのモダリティ範囲を、膨大なテキスト、ビジュアル、そして1億時間以上の音声‑ビデオデータでの事前学習により拡大しました。モデルファミリーは、Plus、Flash、Lightという3つの指示チューニングサイズで構成され、すべて256 kトークンまでのコンテキストを受け入れます。Qwen3.5‑Omniは、10時間以上の生音声または1 fpsの720p動画を400秒まで、単一リクエストで取り込むことができます。

アーキテクチャ

  • ThinkerはVision Encoderを通じて視覚フレームを、AuTモジュールを通じて音声を受け取ります。音声‑映像ストリームはTMRoPEによる位置エンコーディングで交互に配置されます。Thinkerは融合されたオムニモーダル表現を処理し、テキスト出力を生成します。
  • TalkerはThinkerのテキストとマルチモーダルキューを消費して音声を生成します。音声トークンは、重いDiTブロックの代わりにRVQ（Residual Vector Quantization）でエンコードされ、効率的なストリーミングを可能にします。
  • ThinkerとTalkerの両方は**Hybrid‑Attention Mixture‑of‑Experts (MoE)**層を使用し、容量を拡大しつつ推論コストを抑えます。
  • リアルタイムインタラクションは、Thinker向けのチャンク単位ストリーミング入力と、ARIA（Adaptive Rate Interleave Alignment）を使用してテキストと音声トークンを交互に処理するストリーミングTalkerによって実現されます。ARIAはトークンレートを動的に調整し、欠落、誤読、数字の不安定な発音を排除します。

マルチモーダル機能

機能 詳細
モダリティ テキスト、画像、生音声、音声‑映像ストリーム（動画＋音声）
コンテキスト長 最大256 kトークン（≈ 400 k文字）
音声処理 10時間以上の連続音声を処理し、113言語/方言で音声認識をサポート
音声‑映像処理 1 fpsの720p動画を最大400秒受け入れ、構造化されたタイムスタンプ付きキャプションや脚本レベルの説明を生成可能
音声生成 36言語/方言で音声を合成し、音声クローンや音量、速度、感情の細かい制御をサポート
長文推論 256 kのコンテキストにより、文書レベルの分析、マルチターン対話、複雑なツール使用を切り捨てずに実現

パフォーマンスハイライト

Qwen3.5‑Omni‑Plus（最大の指示チューニングバリアント）は、215の音声および音声‑映像ベンチマークで最先端の結果を達成しています。選択された数値（特に指定がない限り高いほど良い）:

  • 音声‑映像理解 – 一般的な音声理解、推論、認識、翻訳、対話においてGemini‑3.1 Proを上回り、総合的な音声‑映像スコアではGemini‑3.1 Proと同等です。
  • 音声‑映像キャプショニング – 自動セグメンテーション、タイムスタンプ、キャラクター間関係の記述を含む、制御可能で詳細なキャプションを生成します。
  • 音声合成の安定性 – Word Error Rate（WER）で測定したところ、Qwen3.5‑Omni‑Plusは公開されている20言語のマルチリンガルTTSセットで12.62 % WERを達成し、ElevenLabs（13.08 %）やGemini‑2.5 Pro（別指標で2.72 %）を上回ります。
  • 多言語音声認識 – 8つのASRベンチマークと156の言語別音声‑テキストタスクでトップクラスのスコアを取得しています。
  • 視覚とテキスト – 視覚ベンチマーク（例：VQA、OCR、空間推論）において、同サイズのQwen3.5テキスト専用モデルと同等の性能を示します。

新しいインタラクティブ機能（リアルタイムAPI）

  1. セマンティックインタラプション – ネイティブなターンテイキング意図検出により、誤ってバックスチャネルが入ることを防ぎ、背景ノイズを除去します。
  2. WebSearch と関数呼び出し – 会話中にモデルが自律的にウェブ検索を実行するか外部関数を呼び出すかを判断できます。
  3. エンドツーエンド音声制御 – ユーザーは音声コマンドで話す音量、速度、感情トーンをリアルタイムに調整できます。
  4. 音声クローン – 短い音声サンプルをアップロードすると、モデルはその声を以降の応答で使用します。
  5. システムプロンプトのカスタマイズ – 開発者は再学習せずにシステムプロンプトを変更し、会話スタイルやペルソナを変えることができます。
  6. ARIA アラインメント – テキストと音声トークンのレートが異なる場合でも、ストリーミング音声の一貫性を保ち、自然さを大幅に向上させます。

新興機能：音声‑映像 Vibe コーディング

スケーリング実験中に、Qwen3.5‑Omniは音声‑映像指示から直接コードを書く能力を示しました。モデルは動画デモ（例：UI操作）を解釈し、対応するソースコードを生成します。この現象は著者らがAudio‑Visual Vibe Codingと呼んでいます。この機能はOffline APIを通じて提供されます。

デモハイライト

  • 音声‑映像キャプショニング – モデルは3分間の野生動物ドキュメンタリーに対し、脚本風のタイムスタンプ付きキャプションを生成し、キャラクター名、効果音の注釈、シーン遷移を含みます。
  • 多言語音声インタラクション – ユーザーが中国語で話すと、モデルはクローンされた中国語音声で応答し、続いて別のクローン音声で英語に切り替え、同一セッション内で行います。
  • ツール使用 – ライブチャットで、モデルは現在の日付をウェブ検索し、結果を取得して、明示的な指示なしに回答に組み込みます。

利用可能性

Qwen3.5‑Omniは2つのエンドポイントで利用可能です：

  • Offline API – バッチ処理、大規模音声‑映像分析、Audio‑Visual Vibe Codingユースケースに適しています。
  • Realtime API – 低遅延音声アシスタント向けに最適化され、上記のインタラクティブ機能をサポートします。

開発者はQwen Chat インターフェース、Hugging Face、またはModelScopeからモデルを取得できます（オフラインとリアルタイムのデモが提供されています）。ブログ記事にはオフラインとリアルタイムの呼び出し例コードが含まれています。

示唆

Qwen3.5‑Omniは、知覚（視覚、音声、動画）と生成（テキスト、音声、コード）を単一のアーキテクチャで統合することで、ネイティブなオムニモーダルAGIへの具体的な一歩を示します。その大規模コンテキストウィンドウと多言語音声機能により、マルチリンガルメディア分析やキャプショニングから、複雑な音声‑映像情報を理解し応答できるリアルタイムバーチャルアシスタントまで、応用範囲が拡大します。Audio‑Visual Vibe Codingの出現は、将来のモデルがデモと実装のギャップを埋め、さまざまな領域で手動プログラミングの必要性を減らす可能性を示唆しています。

引用

Qwen3.5‑Omniを参照する際は、以下を引用してください：

@misc{qwen35omniblog,
  title = {Qwen3.5-Omni: Scaling Up, Toward Native Omni-Modal AGI},
  url = {https://qwen.ai/blog?id=qwen3.5-omni},
  author = {Qwen Team},
  month = {March},
  year = {2026}
}

Sources