Qwen3.8-Omni-Flash 发布说明

Qwen3.8-Omni-Flash 是一款原生全模态模型,旨在推动 AI 智能体从简单的内容理解转向在视听环境中的自主任务规划与执行。它引入了 1M token 的上下文窗口,并大幅降低了成本,与之前版本相比,音频输入价格降低了超过 98%,视听输入价格降低了超过 93%。

智能体视听理解

Qwen3.8-Omni-Flash 将长内容处理从静态模式转变为智能体工作流。模型不再处理多小时视频的每一帧,而是通过多轮从粗到细的证据收集,自主决定观看和收听哪些片段。

在 OmniVideoBench 基准测试中,这种智能体方法将准确率从 63.4 提升至 67.8,同时将 token 消耗量降低了约 45.7%(从每个查询 145,736 个 token 降至 79,117 个)。

长内容处理能力

  • 可控字幕生成:用户可以指定视频描述的主题、时间范围和详细程度,从而对镜头、光影和声音进行结构化分析。
  • 会议分析:模型支持长达一小时的视听输入,端到端地执行说话人分割、身份对齐和转录,以生成会议纪要和行动项。
  • 深度研究:模型可以将视频内容与跨多模态来源的网络搜索相结合,生成带有插图的研究报告。

视听制作与编辑

该模型通过规划和调用工具来交付成品媒体,从而实现专业内容创作的端到端工作流:

  • Music2MV:分析歌曲节奏、情绪和人声,为音乐视频设计角色和场景,并输出带有时间戳的逐行歌词。
  • 短剧翻译:实现自动化、感知说话人的对话识别、语音克隆、配音和音频混音,用于国际化本地化。
  • 电影解说:从长篇电影中提取关键情节,规划并制作解说视频,包括自动调整语速和音量以实现自然流畅的表达。

模型优化与知识提取

Qwen3.8-Omni-Flash 可用于推动小型专用模型的开发。在一项实验中,该模型被指派改进 Qwen2.5-Omni-3B 的四川话语音识别能力。在 12 小时内,智能体自主诊断问题并构建了 3,413 个训练样本,将字符错误率从 25.79% 降低至 15.30%(相对降低了 40.7%)。

此外,该模型支持将非结构化视频转换为结构化资产:

  • Video2Note:将视频教程转换为包含关键截图和分步说明的 PDF 笔记。
  • Omni Skill Creator:从演示视频中提取标准作业程序 (SOP),为其他智能体创建可复用的 Skill.md 文件。

Qwen3.8-Omni-Flash-Realtime 实时交互

针对低延迟场景,Qwen3.8-Omni-Flash-Realtime 模型能够感知并响应实时视听流。主要功能包括:

  • 实时口语练习:联合建模发音和语义,实时纠正口音和语调偏差。
  • 空间音频感知:结合空间声音与视觉数据来定位声源并向其导航,实现基于音频线索的机器人导航。
  • 动态知识注入:支持通过“技能”注入身份设置和业务规则,以实现定制化的客户服务交互。

性能基准测试

Qwen3.8-Omni-Flash 在多个维度上展现了与 Gemini 3.8 Flash 及其他模型竞争的性能:

基准测试 Qwen3.8-Omni-Flash Gemini 3.8 Flash
WildClawBench-MM (工具使用) 71.0 58.9
UniClawBench (工具使用) 69.6 69.0
DailyOmni (视听理解) 85.1 84.0
OmniVideoBench (视听推理) 63.4 65.2
LongAudioSpan (准确率) 82.7 79.3

在基于文本的编码和智能体任务中,它在 SWE-bench Pro 上得分为 63.3,在 CoWorkBench 上得分为 75.3,保持了与同等规模纯文本模型相当的文本性能。

生态系统与工具

  • Qwen-MM-Plugins:支持图像、音频、视频和文档理解的多模态插件套件。它与 Claude Code、Qwen Code 和 OpenClaw 等工具链集成。
  • Qwen-Live Harness:一个用于持续、实时全模态交互的开源运行时,支持任务委派和长期记忆。

社区见解

Hacker News 上的用户强调了与竞争对手相比巨大的成本降低潜力。一位用户指出:

"If the performances are comparable... in/out ($) Gemini : 1.5 / 9.0 | Qwen 3.8: 0.15 / 0.47 That is a massive cost reduction." — @handle

然而,一些用户对博客文章的呈现方式表示怀疑,并报告了 harness 仓库链接的可访问性问题。

Sources

相关