EvolvingLMMs-Lab/LLaVA-OneVision-2
Fully Open Framework for Democratized Multimodal Training
What it solves
LLaVA-OneVision-2는 이미지, 장시간 비디오, 공간 이해를 단일 아키텍처에서 통합하도록 설계된 멀티모달 모델입니다. 대부분의 오픈 멀티모달 모델이 2D 단일 이미지 처리에 제한되거나 토큰 예산 제약으로 장시간 비디오 처리에 어려움을 겪는 문제를 해결합니다.
How it works
이 프로젝트는 HEVC 개념을 차용한 코덱 정렬 비전 인코더(OneVision-Encoder)를 활용합니다. 균일 프레임 샘플링 대신 밀집된 I‑frame을 유지하고, P‑frame에서는 움직임 및 잔차가 풍부한 패치만 선택합니다. 이를 통해 동일한 토큰 예산 내에서 표준 파이프라인의 3배에 해당하는 시간 범위를 커버할 수 있습니다. 이미지, 균일 프레임, 코덱 정렬 토큰 등 모든 모달리티가 공유 위치 스키마를 사용하는 동일 인코더에 의해 처리되어 작업별 어댑터가 필요 없게 됩니다.
Who it’s for
장시간 비디오 추론, 3D 인식 공간 추론, 고해상도 문서/OCR 분석이 가능한 모델을 훈련·배포하기 위해 완전 오픈되고 재현 가능한 프레임워크가 필요한 멀티모달 AI 분야의 개발자와 연구자를 위한 모델입니다.
Highlights
- Unified Architecture: One model handles images, long videos, and spatial reasoning without modality-specific routing.
- Codec-Aligned Encoding: Efficiently processes long videos by selecting only high-information patches.
- Fully Open: Releases the entire pipeline, including encoder weights, training code, configs, and full training logs.
- Comprehensive Datasets: Includes specialized datasets for dense video captioning and 3D-aware spatial reasoning.