QVQ-72B-Preview 출시 Qwen은 Qwen2-VL-72B를 기반으로 한 오픈 웨이트 멀티모달 추론 모델인 QVQ-72B-Preview를 출시했으며, MMMU 벤치마크에서 70.3점을 달성했습니다.

QVQ-72B-Preview 출시

Qwen은 복잡한 멀티모달 추론을 위한 오픈 웨이트 모델인 QVQ-72B-Preview를 소개했습니다. Qwen2-VL-72B를 기반으로 구축된 QVQ-72B-Preview는 시각적 이해와 분석적 문제 해결 능력을 향상시키도록 설계되었으며, 특히 정교한 단계별 추론이 필요한 분야에서 그렇습니다.

성능 벤치마크

QVQ-72B-Preview는 전작인 Qwen2-VL-72B-Instruct에 비해 시각적 추론에서 상당한 향상을 보였습니다. 이 모델은 네 가지 주요 데이터셋에서 평가되었습니다:

• MMMU: 대학 수준의 다학제적 멀티모달 평가 데이터셋. QVQ-72B-Preview는 70.3점을 달성하여 Qwen2-VL-72B-Instruct를 크게 앞섰습니다.
• MathVista: 퍼즐 그래픽, 함수 그래프, 학술 도형을 다루는 수학 중심 시각적 추론 테스트 세트.
• MathVision: 실제 수학 대회에서 파생된 멀티모달 수학 추론 테스트 세트.
• OlympiadBench: 올림픽 수학 및 물리 경쟁 문제 8,476개를 포함한 이중 언어 멀티모달 과학 벤치마크로, 중국 대학 입학 시험도 포함됩니다.

기술적 기능 및 추론 과정

QVQ-72B-Preview는 복잡한 시각적 작업을 해결하기 위해 체계적인 단계별 추론 접근 방식을 사용합니다. 데모 사례는 다양한 기술적 과제를 처리하는 능력을 보여줍니다:

• Mathematics: 모델은 미분의 곱법칙을 적용하여 표 기반 미적분 문제를 해결하고, 원 공식을 사용하여 그래프로 표현된 함수의 적분을 평가할 수 있습니다.
• Physical Volume Calculation: 모델은 복잡한 L자형 객체를 직사각형 프리즘으로 분해하고 겹치는 부피를 고려하여 총 부피를 계산할 수 있습니다.
• Chemistry: 모델은 화학 흐름도(예: 황철광에서 구리 추출)를 분석하여 반응 시퀀스를 기반으로 특정 화학 물질을 식별할 수 있습니다.
• Biology: 모델은 유전자 도형을 분석하여 allele 상속을 평가함으로써 클라인펠터 증후군과 같은 염색체 이상 원인을 결정할 수 있습니다.
• Geometry: 모델은 좌표 기하학과 선형 방정식을 사용하여 직사각형 내 특정 삼각형 내에 무작위 점이 떨어질 확률을 계산할 수 있습니다.

모델 제한 사항

실험적 연구 모델인 QVQ-72B-Preview에는 다음과 같은 알려진 제한 사항이 있습니다:

• Language and Logic: 모델은 예기치 않은 언어 혼합, 코드 스위칭을 보이거나, 결론에 도달하지 못하는 장황한 응답을 생성하는 순환 논리(원형 논리) 같은 재귀적 추론 패턴에 빠질 수 있습니다.
• Reliability: 다단계 시각적 추론 중에 모델은 이미지 내용에 집중을 잃을 수 있으며, 이는 환각을 초래할 수 있습니다.
• Functional Scope: Qwen2-VL-72B-Instruct의 기능을 완전히 대체하도록 의도되지 않았습니다.
• Safety: 모델은 안전한 배포를 위해 강화된 안전 조치가 필요합니다.

미래 개발

Qwen은 QVQ를 "옴니와 스마트" 모델로 발전시키고자 합니다. 미래 개발은 과학 탐구와 복잡한 문제 해결 능력을 향상시키기 위해 추가 모달리티를 통합된 모델에 통합하는 데 중점을 둘 것입니다.