Qwen3.8-Omni-Flash 릴리스 노트

Qwen3.8-Omni-Flash는 AI 에이전트가 단순한 콘텐츠 이해를 넘어 시청각 환경에서 자율적인 작업 계획 및 실행을 수행할 수 있도록 설계된 네이티브 옴니모달 모델입니다. 1M 토큰 컨텍스트 윈도우를 도입했으며, 이전 버전 대비 오디오 입력 가격은 98% 이상, 시청각 입력 가격은 93% 이상 대폭 절감했습니다.

에이전트 기반 시청각 이해

Qwen3.8-Omni-Flash는 장문 콘텐츠 처리에 있어 정적 처리 방식에서 에이전트 기반 워크플로우로 전환했습니다. 수 시간 분량의 비디오 전체 프레임을 처리하는 대신, 모델이 다단계의 거친 분석에서 정밀한 분석으로 이어지는 증거 수집 과정을 통해 어떤 부분을 보고 들을지 스스로 결정합니다.

OmniVideoBench 벤치마크에서 이러한 에이전트 방식은 정확도를 63.4에서 67.8로 향상시키는 동시에 토큰 소비량을 약 45.7%(쿼리당 145,736에서 79,117 토큰으로) 절감했습니다.

장문 콘텐츠 처리 기능

제어 가능한 캡셔닝: 사용자가 비디오 설명의 주제, 시간 범위, 세부 수준을 지정할 수 있어 카메라 샷, 조명, 사운드에 대한 구조화된 분석이 가능합니다.
회의 분석: 최대 1시간 분량의 시청각 입력을 지원하며, 화자 분할, 신원 식별, 전사(transcription)를 엔드투엔드로 수행하여 회의록과 실행 항목을 생성합니다.
심층 연구: 비디오 콘텐츠와 다중 모달 소스에 걸친 웹 검색을 결합하여 시각 자료가 포함된 연구 보고서를 작성할 수 있습니다.

시청각 제작 및 편집

이 모델은 도구를 계획하고 호출하여 완성된 미디어를 제공함으로써 전문적인 콘텐츠 제작을 위한 엔드투엔드 워크플로우를 지원합니다:

Music2MV: 노래의 리듬, 분위기, 보컬을 분석하여 뮤직비디오를 위한 캐릭터와 장면을 설계하고, 타임스탬프가 포함된 라인 단위 가사를 출력합니다.
단편 드라마 번역: 국제 현지화를 위해 화자 인식, 음성 복제, 더빙, 오디오 리믹싱을 자동화합니다.
영화 해설: 장편 영화에서 핵심 줄거리를 추출하여 해설 비디오를 기획 및 제작하며, 자연스러운 흐름을 위해 말하기 속도와 볼륨을 자동으로 조정합니다.

모델 최적화 및 지식 추출

Qwen3.8-Omni-Flash는 더 작고 전문화된 모델 개발을 촉진하는 데 사용될 수 있습니다. 한 실험에서 이 모델은 Qwen2.5-Omni-3B의 사천 방언 음성 인식 성능을 개선하는 임무를 맡았습니다. 12시간 동안 에이전트는 스스로 문제를 진단하고 3,413개의 학습 예제를 구축하여 문자 오류율을 25.79%에서 15.30%로(상대적 감소율 40.7%) 낮췄습니다.

또한, 비정형 비디오를 구조화된 자산으로 변환하는 기능을 지원합니다:

Video2Note: 비디오 튜토리얼을 핵심 스크린샷과 단계별 지침이 포함된 PDF 노트로 변환합니다.
Omni Skill Creator: 시연 비디오에서 표준 운영 절차(SOP)를 추출하여 다른 에이전트가 재사용할 수 있는 Skill.md 파일을 생성합니다.

Qwen3.8-Omni-Flash-Realtime을 통한 실시간 상호작용

지연 시간이 짧은 시나리오를 위해 Qwen3.8-Omni-Flash-Realtime 모델은 실시간 시청각 스트림을 인식하고 응답합니다. 주요 기능은 다음과 같습니다:

실시간 말하기 연습: 발음과 의미론을 공동 모델링하여 실시간으로 억양과 음조 오류를 교정합니다.
공간 오디오 인식: 공간 사운드와 시각 데이터를 결합하여 음원을 위치시키고 그 방향으로 이동함으로써 오디오 신호 기반의 로봇 내비게이션을 가능하게 합니다.
동적 지식 주입: 맞춤형 고객 서비스 상호작용을 위해 "Skills"를 통한 신원 설정 및 비즈니스 규칙 주입을 지원합니다.

성능 벤치마크

Qwen3.8-Omni-Flash는 여러 측면에서 Gemini 3.8 Flash 및 기타 모델과 경쟁력 있는 성능을 보여줍니다:

벤치마크	Qwen3.8-Omni-Flash	Gemini 3.8 Flash
WildClawBench-MM (도구 사용)	71.0	58.9
UniClawBench (도구 사용)	69.6	69.0
DailyOmni (시청각 이해)	85.1	84.0
OmniVideoBench (시청각 추론)	63.4	65.2
LongAudioSpan (정확도)	82.7	79.3

텍스트 기반 코딩 및 에이전트 작업에서 SWE-bench Pro 63.3점, CoWorkBench 75.3점을 기록하며, 동일한 크기의 텍스트 전용 모델과 대등한 텍스트 성능을 유지합니다.

생태계 및 도구

Qwen-MM-Plugins: 이미지, 오디오, 비디오 및 문서 이해를 지원하는 다중 모달 플러그인 제품군입니다. Claude Code, Qwen Code, OpenClaw와 같은 하네스와 통합됩니다.
Qwen-Live Harness: 작업 위임 및 장기 기억을 지원하는 지속적인 실시간 옴니모달 상호작용을 위한 오픈 소스 런타임입니다.

커뮤니티 인사이트

Hacker News 사용자들은 경쟁사 대비 대폭적인 비용 절감 가능성을 강조했습니다. 한 사용자는 다음과 같이 언급했습니다:

"성능이 비슷하다면... 입/출력 ($) Gemini : 1.5 / 9.0 | Qwen 3.8: 0.15 / 0.47 이는 엄청난 비용 절감입니다." — @handle

그러나 일부 사용자들은 블로그 게시물의 구성에 대해 회의적인 반응을 보였으며, 하네스 저장소 링크의 접근성 문제를 보고하기도 했습니다.