Qwen3.8-Omni-Flashリリース：100万トークンのコンテキストを持つオムニモーダルエージェントモデル

TL;DR

Qwen3.8-Omni-Flashは、テキスト、画像、音声、動画の入力をサポートする新しいオムニモーダル言語モデルであり、100万トークンのコンテキスト窓を備え、現実世界の生産性ワークフローに向けたエージェント型計画とツール利用を実現し、前バージョンと比較して音声・視覚APIの価格を90％以上削減しています。

コア技術的進展

1. 100万トークンのコンテキスト窓 – モデルは、テキスト専用モデルと同等のパフォーマンスを維持しながら、最大100万トークンのマルチモーダルデータを処理できます。

2. エージェント型オムニモーダル推論 – Qwen3.8-Omni-Flashはユーザーの質問から出発し、知覚とツール利用のステップを計画し、長時間の音声・視覚ストリームから反復的に証拠を収集できます。このエージェントモードにより、OmniVideoBenchでの精度は63.4％から67.8％に向上し、トークン消費量は約45.7％削減されました。

3. コスト削減 – 720p @ 1fpsの標準化された価格設定手法に基づき、音声入力の時間単価はQwen3.5-Omni-Plusと比較して98％以上、音声・視覚入力では93％以上削減されました。

4. スケーリングの恩恵 – 29のベンチマーク評価において、平均スコアはQwen3.5-Omni-Plusと比較して25％以上向上し、特にWildClawBench-MM（+36.5ポイント）およびAgenticVBench（+22.3ポイント）で顕著な向上を示しました。音声・視覚性能はGemini 3.8 Flashと同等またはそれを上回ります。

ベンチマークハイライト

ベンチマーク Qwen3.8‑Omni‑Flash Qwen3.5‑Omni‑Plus Gemini 3.8 Flash
WildClawBench‑MM（マルチモーダルツール利用） 71.0 34.5 58.9
UniClawBench（マルチモーダルツール利用） 69.6 67.1 69.0
AgenticVBench（マルチモーダルツール利用） 36.8 14.5 45.0
OmniVideoBench（音声・視覚推論） – 静的 63.4 53.8 65.2
OmniVideoBench – エージェント型 67.8 53.8 65.2
OmniCap‑IF CSR 80.6 (↑8.5) 72.1 81.9
OmniCap‑IF ISR 28.2 (↑14.1) 14.1 28.3
AliMeeting DER / cpWER **3.4 17.2** (88.1 89.6から低下)

太字のスコアは、リストアップされたシステムの中で最高です。Qwen3.5‑Omni‑Plusとの比較での改善は括弧内に示されています。

新たなエージェント機能

コントロール可能な音声・視覚キャプション生成

ユーザーが指定する対象、時間範囲、詳細レベル、出力形式に応じて、動画のキャプションを生成できます。これにより、高レベルな概要から照明、カメラショット、サウンドデザインの細部分析まで、幅広い用途が可能になります。

長時間音声・視覚理解

数時間にわたる録画に対して、エージェントは全ストリームを処理するのではなく、粗い段階から細かい段階へと証拠を収集します。質問に答えるセグメントに計算リソースを集中させることで、トークン使用量をほぼ半減しつつ、精度も向上します。

ミーティングインテリジェンス

Qwen3.8-Omni-Flashは、音声と動画の両方で話者を区別し、内容を字幕化し、身元を同期し、議事録、アクションアイテム、リスク分析を生成できます。統合されたツール呼び出しにより、会議の結果に基づいてフォローアップメールを送信したり、タスクを作成したり、コードの作成を開始することも可能です。

リサーチ支援型動画探索

ユーザーの質問が動画の範囲を超える場合、モデルは補完的なマルチモーダル情報（画像、文書、他の動画）を取得し、豊富に図解されたリサーチレポートを生成できます。たとえば、Photoshopのブレンドモードの微細なニュアンスを説明するなどです。

エンドツーエンド音声・視覚制作

モデルは、音楽ビデオ制作、ショートドラマのローカライズ、長編映画の解説など、完全な制作プロセスをサポートします。ユーザーは1つの高レベルな指示を提供するだけで、エージェントが計画を立て、クリエイティブツールを呼び出し、完成した動画を提供します。

エコシステム拡張

Qwen‑MM‑Plugins – 長時間の音声・視覚コンテンツ向けの認識、ツール利用、ワークフロー実行を追加するプラグインセットです。以下のプラグインを含みます：

  • omni-chatcut：音楽ビデオ生成用
  • omni-video2note：チュートリアルをPDFノートに変換
  • omni-skill-creator：デモンストレーションから再利用可能なSOPを抽出
  • omni-memory：セッション間で持続的な音声・視覚記憶を構築

Qwen‑Live Harness – オープンソースのランタイムで、リアルタイムAPI（qwen3.8-omni-flash-realtime）をエージェントフレームワークに接続し、継続的な音声・視覚ストリーム、メモリ管理、プロアクティブなタスク委譲を処理します。

リアルタイムインタラクション（Qwen3.8‑Omni‑Flash‑Realtime）

リアルタイム版は、約85トークン/秒でライブ音声・視覚ストリームを処理でき、テキストおよび音声の最初のトークンの遅延は1秒未満です。以下の機能をサポートします：

  • 発音練習 – 非標準的な発音を標準発音に合わせつつ、リズムと感情を維持します。
  • 空間音響認識 – 視覚的文脈を用いて3次元空間内の音源を特定し、「ここに来て」といったコマンドを可能にします。
  • 動的知識インジェクション – スキルがブランド言語、ビジネスルール、またはドメイン知識をリアルタイムで読み込むことができ、1つのモデルが複数の役割を担えるようにします。

API使用のハイライト

  • OpenAI互換のチャットコンプリーションをサポート。
  • reasoning_effortパラメータ（xhigh、medium、low）で、推論の深さとコストを制御。
  • preserve_thinkingはデフォルトで有効化され、透明な思考の連鎖出力が可能。
  • Pythonスニペットの例では、画像＋音声＋テキストの混合モーダル入力とストリーミングレスポンスを示しています。

AI駆動の生産性への影響

Qwen3.8-Omni-Flashは、オムニモーダルモデルを受動的な認識から自律的なタスク実行へと進化させます。長時間の音声・視覚推論、エージェント型計画、低コストAPIを統合することで、次のような新しいタイプのアプリケーションが可能になります：

  • 完全自動の動画編集およびローカライズパイプライン。
  • 決定を要約するだけでなく、実行するリアルタイム会議アシスタント。
  • 数時間分のマルチメディアコンテンツを1つのプロンプトで照会し、簡潔かつ実行可能な出力を得られる知識労働者。
  • 大規模モデルが小規模専門モデルを反復的に改善するモデル駆動のR&Dループ。四国方言音声認識において、CERが40％相対的に低下した実証例があります。

はじめ方

  1. Qianwen AIプラットフォームからAPIキーを取得します。
  2. モデル名 qwen3.8-omni-flash（ライブストリーム用は qwen3.8-omni-flash-realtime）を使用して、OpenAI互換エンドポイントを利用します。
  3. 提供されたインストーラスクリプトで Qwen‑MM‑Plugins セットをインストールし、認識およびツール利用機能を有効化します。
  4. リアルタイムアプリケーションの場合は、websocket-client、pyaudio、opencv-python をインストールし、サンプルWebSocketクライアントコードに従ってください。

引用

@misc{qwen38omniflash,
  title = {Qwen3.8-Omni-Flash: Omni Senses. Agentic Delivery.},
  url = {https://qwen.ai/blog?id=qwen3.8-omni-flash},
  author = {{Qwen Team}},
  month = {September},
  year = {2026}
}

Sources