Qwen3.8-Omni-Flash 發布說明

Qwen3.8-Omni-Flash 是一款次世代原生全模態模型，旨在將 AI 代理從單純的內容理解轉向自主的任務規劃與執行。它支援文字、圖像、音訊和影片輸入，並具備 1M token 的上下文視窗，提供與 Gemini 3.8 Flash 相當的視聽效能，且整體音訊效能更勝一籌。

代理式視聽理解

Qwen3.8-Omni-Flash 透過針對長篇內容採用代理式工作流程，超越了靜態處理的限制。模型不再線性處理整段影片，而是自主決定觀看或聆聽哪些片段，並透過多輪「由粗到細」的證據收集來定位關鍵資訊。

在 OmniVideoBench 基準測試中，這種代理式方法將準確率從 63.4 提升至 67.8，同時將 token 消耗量降低了約 45.7%（從每次查詢 145,736 個 token 降至 79,117 個）。

關鍵長篇內容能力

  • 可控字幕生成： 使用者可以指定影片描述的主題、時間範圍和詳細程度，從而對鏡頭拍攝、燈光和聲音進行結構化分析。
  • 會議智慧： 模型原生支援長達一小時的視聽輸入，端到端地執行說話者分割、身分識別與內容轉錄，以生成會議記錄與待辦事項。
  • 深度研究： 模型能結合影片內容與基於網路的多模態搜尋，製作出圖文並茂的研究報告。

視聽製作與編輯

該模型透過規劃並呼叫工具，實現端到端的專業工作流程，以交付成品媒體資產：

  • Music2MV： 分析歌曲節奏、情緒與人聲來設計角色與場景，並輸出帶有時間戳記的逐行歌詞，以進行視覺對齊。
  • 短劇翻譯： 自動化處理說話者識別、語音複製、配音與音訊混音，以進行國際化在地化處理。
  • 電影解說： 從長篇電影中提取關鍵情節以規劃並製作解說影片，自動調整語速與音量，將原始對話與旁白交織在一起。

Qwen3.8-Omni-Flash-Realtime

針對低延遲互動需求，Qwen3.8-Omni-Flash-Realtime 變體透過 WebSocket 和 WebRTC 感知並回應即時視聽串流。

即時創新技術

  • 空間音訊感知： 模型能結合空間聲音與視覺資訊來判斷聲源的方向與距離，從而實現基於音訊提示的機器人導航（例如：「過來這裡」）。
  • 口語練習： 聯合建模發音與語義，在保留自然情感的同時，即時糾正口音與語調偏差。
  • 動態知識注入： 支援透過「技能 (Skills)」注入身分設定與業務規則，使模型能針對客戶服務等特定應用調整其角色。

模型優化與資訊壓縮

Qwen3.8-Omni-Flash 可用於優化較小的模型。在一項實驗中，該模型被指派改善 Qwen2.5-Omni-3B 對四川話的語音辨識能力。透過自主診斷問題並構建針對性的訓練資料，它在 12 小時內將字元錯誤率從 25.79% 降低至 15.30%（相對降低了 40.7%）。

此外，該模型還驅動了諸如 Video2Note（將影片教學轉換為包含關鍵截圖與逐步說明的結構化 PDF 筆記）以及 Omni Skill Creator（從示範影片中提取標準作業程序 (SOP) 並轉換為可重複使用的 Skill.md 檔案）等工具。

基準測試與效能

全模態智慧

Qwen3.8-Omni-Flash 展現了強大的工具使用能力，在 WildClawBench-MM 上獲得 71.0 分，在 UniClawBench 上獲得 69.6 分，在這些特定指標上超越了 Qwen3.5-Omni-Plus 和 Gemini 3.8 Flash。

文字與視覺

  • 程式編寫： 在 SWE-bench Pro 上獲得 63.3 分，超越了 Claude-Opus-4.6 (Max) 的 53.4 分。
  • 視覺： 在 AndroidWorld 行動裝置使用測試中獲得 87.1 分，顯著高於 Claude-Opus-4.6 (Max) 的 62.0 分。

吞吐量與延遲

即時 API 效能顯示，根據輸入時長與模態的不同，首字延遲 (TTFT) 範圍為 591ms 至 981ms，首個音訊封包延遲範圍為 978ms 至 1350ms。

社群觀點與成本分析

技術使用者之間的討論強調了 Qwen3.8-Omni-Flash 相較於競爭對手的顯著成本優勢。一位使用者指出：

"如果效能相當... 輸入/輸出 ($) Gemini : 1.5 / 9.0 | Qwen 3.8: 0.15 / 0.47 這是一個巨大的成本削減。" — @handle

其他使用者則對 Qwen-Live Harness 儲存庫的可用性表示擔憂，部分使用者回報在發布後不久即出現 404 錯誤，並質疑 Omni 模型是否會以開放權重形式發布。

技術實作

API 設定

該模型支援 reasoning_effort 設定（xhigh、medium、low），以平衡分析深度與成本及速度。它與 OpenAI Chat Completions 和 Responses API 相容。

外掛生態系統

Qwen-MM-Plugins 為代理框架（包括 Claude Code 和 OpenClaw）提供了一套工具，用於處理圖像讀取、OCR、說話者分離，以及從影片建立 MV 或 PDF 筆記。

Sources

相關