Qwen3.8-Omni-Flash リリースノート

Qwen3.8-Omni-Flashは、AIエージェントを単純なコンテンツ理解から自律的なタスク計画および実行へと移行させるために設計された、次世代のネイティブ・オムニモーダルモデルです。テキスト、画像、音声、動画の入力をサポートし、1Mトークンのコンテキストウィンドウを備えており、Gemini 3.8 Flashに匹敵する視聴覚パフォーマンスと、それを上回る総合的な音声パフォーマンスを実現しています。

エージェントによる視聴覚理解

Qwen3.8-Omni-Flashは、長尺コンテンツに対してエージェントワークフローを採用することで、静的な処理を超えた理解を可能にします。動画全体を線形に処理するのではなく、モデルがどのセグメントを視聴または聴取すべきかを自律的に判断し、複数回の粗から密への証拠収集を行うことで重要な情報を特定します。

OmniVideoBenchベンチマークにおいて、このエージェントアプローチは精度を63.4から67.8に向上させつつ、トークン消費量を約45.7%（クエリあたり145,736から79,117トークンへ）削減しました。

主な長尺コンテンツ対応機能

制御可能なキャプション生成: ユーザーは動画説明の対象、時間範囲、詳細レベルを指定でき、カメラワーク、照明、音声の構造的な分析が可能です。
会議インテリジェンス: 最大1時間の視聴覚入力をネイティブでサポートし、話者分離、話者特定、コンテンツの文字起こしをエンドツーエンドで実行して、議事録やアクションアイテムを生成します。
ディープリサーチ: 動画コンテンツとウェブベースのマルチモーダル検索を組み合わせ、図解入りの調査レポートを作成できます。

視聴覚制作と編集

このモデルは、ツールを計画・呼び出しすることで、完成したメディアアセットを提供するエンドツーエンドのプロフェッショナルワークフローを実現します。

Music2MV: 楽曲のリズム、ムード、ボーカルを分析してキャラクターやシーンを設計し、視覚的な調整のためのタイムスタンプ付き歌詞を出力します。
ショートドラマ翻訳: 国際的なローカライズのために、話者を認識した対話認識、ボイスクローン、吹き替え、音声リミックスを自動化します。
映画解説: 長編映画から主要なプロットを抽出し、解説動画を計画・制作します。元の対話とナレーションを交互に配置するために、発話速度と音量を自動調整します。

Qwen3.8-Omni-Flash-Realtime

低遅延のインタラクションのために、Qwen3.8-Omni-Flash-RealtimeバリアントはWebSocketおよびWebRTCを介してライブの視聴覚ストリームを認識し、応答します。

リアルタイムの革新

空間オーディオ認識: 空間音響と視覚情報を組み合わせて音源の方向と距離を特定し、音声キュー（例：「こっちに来て」）に基づいたロボットのナビゲーションを可能にします。
スピーキング練習: 発音と意味論を共同でモデル化し、自然な感情を維持しながらリアルタイムでアクセントやトーンの逸脱を修正します。
動的知識注入: 「スキル」を通じてアイデンティティ設定やビジネスルールの注入をサポートし、カスタマーサービスなどの特定のアプリケーションに合わせてモデルの役割を適応させることができます。

モデルの最適化と情報圧縮

Qwen3.8-Omni-Flashは、より小さなモデルの最適化に使用できます。ある実験では、Qwen2.5-Omni-3Bの四川方言音声認識を改善するタスクが課されました。モデルが自律的に問題を診断し、ターゲットを絞ったトレーニングデータを構築することで、12時間以内に文字誤り率を25.79%から15.30%（相対的に40.7%の削減）まで低減させました。

さらに、このモデルは動画チュートリアルを主要なスクリーンショットとステップバイステップの手順を含む構造化されたPDFノートに変換するVideo2Noteや、デモ動画から標準作業手順書（SOP）を抽出して再利用可能な Skill.md ファイルを作成するOmni Skill Creatorといったツールを支えています。

ベンチマークとパフォーマンス

オムニモーダルインテリジェンス

Qwen3.8-Omni-Flashは強力なツール使用能力を示しており、WildClawBench-MMで71.0、UniClawBenchで69.6を記録し、これらの特定の指標においてQwen3.5-Omni-PlusやGemini 3.8 Flashを上回りました。

テキストと視覚

コーディング: SWE-bench Proで63.3を記録し、Claude-Opus-4.6 (Max) の53.4を上回りました。
視覚: モバイル利用に関するAndroidWorldで87.1を記録し、Claude-Opus-4.6 (Max) の62.0を大幅に上回りました。

スループットとレイテンシ

リアルタイムAPIのパフォーマンスは、入力時間とモダリティに応じて、最初のトークンまでの時間（TTFT）が591msから981ms、最初の音声パケットまでの時間が978msから1350msとなっています。

コミュニティの洞察とコスト分析

技術ユーザー間の議論では、Qwen3.8-Omni-Flashが競合他社に対して持つ大きなコスト優位性が強調されています。あるユーザーは次のように指摘しました。

"If the performances are comparable... in/out ($) Gemini : 1.5 / 9.0 | Qwen 3.8: 0.15 / 0.47 That is a massive cost reduction." — @handle

他のユーザーは、Qwen-Live Harnessリポジトリの可用性について懸念を表明しており、公開直後に404エラーが発生したと報告する声や、Omniモデルがオープンウェイトとしてリリースされるのかどうかを問う声が上がっています。

技術的実装

API設定

このモデルは、分析の深さとコスト・速度のバランスをとるための reasoning_effort 設定（xhigh、medium、low）をサポートしています。OpenAI Chat CompletionsおよびResponses APIと互換性があります。

プラグインエコシステム

Qwen-MM-Pluginsは、画像読み取り、OCR、話者分離、動画からのMVやPDFノート作成などを処理するためのエージェントハーネス（Claude CodeやOpenClawを含む）向けツールスイートを提供します。