Qwen3.8-Omni-Flash リリースノート

Qwen3.8-Omni-Flashは、AIエージェントを単純なコンテンツ理解から、視聴覚環境における自律的なタスク計画および実行へと移行させるために設計されたネイティブ・オムニモーダルモデルです。1Mトークンのコンテキストウィンドウを導入し、大幅なコスト削減を実現しました。前バージョンと比較して、音声入力の価格は98%以上、視聴覚入力の価格は93%以上低下しています。

エージェントによる視聴覚理解

Qwen3.8-Omni-Flashは、長尺コンテンツに対して静的な処理からエージェント的なワークフローへと移行します。数時間にわたる動画の全フレームを処理するのではなく、モデルが複数回の粗から密への証拠収集を通じて、どのセグメントを視聴すべきかを自律的に判断します。

OmniVideoBenchベンチマークにおいて、このエージェント的アプローチは精度を63.4から67.8に向上させつつ、トークン消費量を約45.7%（クエリあたり145,736から79,117トークンへ）削減しました。

長尺コンテンツ対応能力

  • 制御可能なキャプション生成: ユーザーは動画説明の対象、時間範囲、詳細レベルを指定でき、カメラワーク、照明、音響の構造的な分析が可能です。
  • 会議分析: 最大1時間の視聴覚入力をサポートし、話者分離、話者特定、文字起こしをエンドツーエンドで実行して、議事録やアクションアイテムを生成します。
  • ディープリサーチ: 動画コンテンツとマルチモーダルソースにわたるウェブ検索を組み合わせ、図解入りの調査レポートを作成できます。

視聴覚制作と編集

このモデルは、ツールを計画・呼び出すことで完成したメディアを提供する、プロフェッショナルなコンテンツ制作のためのエンドツーエンドのワークフローを実現します。

  • Music2MV: 楽曲のリズム、ムード、ボーカルを分析してミュージックビデオのキャラクターやシーンを設計し、タイムスタンプ付きの歌詞を出力します。
  • ショートドラマ翻訳: 国際的なローカライズのために、話者を認識した対話認識、音声クローン、吹き替え、オーディオのリミックスを自動化します。
  • 映画解説: 長編映画から主要なプロットを抽出し、解説動画を計画・制作します。これには、自然な流れのための発話速度や音量の自動調整が含まれます。

モデルの最適化と知識抽出

Qwen3.8-Omni-Flashは、より小型で専門的なモデルの開発を促進するために使用できます。ある実験では、Qwen2.5-Omni-3Bの四川方言音声認識を改善するタスクが与えられました。12時間かけてエージェントが自律的に問題を診断し、3,413件のトレーニング例を構築した結果、文字誤り率を25.79%から15.30%（相対的に40.7%の削減）に低減しました。

さらに、非構造化動画を構造化された資産に変換することもサポートしています。

  • Video2Note: 動画チュートリアルを、主要なスクリーンショットとステップバイステップの手順を含むPDFノートに変換します。
  • Omni Skill Creator: デモンストレーション動画から標準作業手順書（SOP）を抽出し、他のエージェントが再利用可能な Skill.md ファイルを作成します。

Qwen3.8-Omni-Flash-Realtimeによるリアルタイム対話

低遅延シナリオ向けに、Qwen3.8-Omni-Flash-Realtimeモデルはライブの視聴覚ストリームを認識し、応答します。主な機能は以下の通りです。

  • リアルタイム会話練習: 発音と意味論を共同でモデル化し、アクセントや音調の逸脱をリアルタイムで修正します。
  • 空間オーディオ認識: 空間音響と視覚データを組み合わせ、音源を特定してそこへ移動することで、音声キューに基づいたロボットのナビゲーションを可能にします。
  • 動的知識注入: カスタマイズされた顧客サービス対話のために、「スキル」を介したアイデンティティ設定やビジネスルールの注入をサポートします。

パフォーマンスベンチマーク

Qwen3.8-Omni-Flashは、いくつかの側面でGemini 3.8 Flashや他のモデルに対して競争力のあるパフォーマンスを示しています。

ベンチマーク Qwen3.8-Omni-Flash Gemini 3.8 Flash
WildClawBench-MM (ツール使用) 71.0 58.9
UniClawBench (ツール使用) 69.6 69.0
DailyOmni (視聴覚理解) 85.1 84.0
OmniVideoBench (視聴覚推論) 63.4 65.2
LongAudioSpan (精度) 82.7 79.3

テキストベースのコーディングやエージェントタスクにおいて、SWE-bench Proで63.3、CoWorkBenchで75.3を記録し、同サイズのテキスト専用モデルに匹敵するテキスト性能を維持しています。

エコシステムとツール

  • Qwen-MM-Plugins: 画像、音声、動画、文書の理解をサポートするマルチモーダルプラグインスイート。Claude Code、Qwen Code、OpenClawなどのハーネスと統合されています。
  • Qwen-Live Harness: タスクの委任と長期記憶をサポートする、継続的かつリアルタイムなオムニモーダル対話のためのオープンソースランタイム。

コミュニティの洞察

Hacker Newsのユーザーは、競合他社と比較した大幅なコスト削減の可能性を強調しました。あるユーザーは次のように述べています。

"もし性能が同等なら... 入力/出力 ($) Gemini : 1.5 / 9.0 | Qwen 3.8: 0.15 / 0.47 これは大幅なコスト削減だ。" — @handle

しかし、一部のユーザーはブログ記事の提示方法に対して懐疑的な見方を示し、ハーネスリポジトリのリンクへのアクセスに関する問題を報告しました。

Sources

関連