EvolvingLMMs-Lab/LLaVA-OneVision-2

TL;DR

LLaVA‑OneVision‑2는 단일 비전 인코더로 이미지, 긴 영상, 3‑D 공간 데이터를 이해할 수 있는 80억 파라미터 규모의 오픈 소스 멀티모달 모델입니다. 이 프로젝트는 모델 가중치, 혁신적인 "코덱 정렬" 비전 인코더, 4개의 학습 데이터셋, 전체 학습 코드 및 로그, 그리고 단일 8‑GPU 노드에서 결과를 재현하기 위한 스크립트를 공개합니다.

주요 기능

통합 멀티모달 추론 – 단일 LLM 스타일 모델로 정지 이미지, 짧은 영상, 긴 영상, 또는 깊이 강화된 공간 장면을 입력받아 질문에 답하거나 지시를 수행할 수 있습니다.
코덱 스타일 영상 입력 – 균일한 프레임을 샘플링하는 대신, HEVC 스타일의 P‑frames에서 움직임이 풍부한 패치를 선택하여 동일한 토큰 예산으로 약 3배 더 많은 시간적 범위를 커버합니다.
모달리티별 어댑터 불필요 – 이미지, 균일 프레임 영상, 코덱 정렬 토큰 모두 동일한 OneVision‑Encoder를 통과하며, 공유된 (t, h, w) 위치 스킴을 사용합니다.
지시어 튜닝(Instruction‑tuned) – 공개된 LLaVA‑OneVision‑2‑8B‑Instruct 체크포인트는 긴 영상 캡션(10‑15분) 및 3‑D 공간 추론 샘플을 포함한 멀티모달 지시어 데이터 혼합으로 미세 조정되었습니다.

작동 원리 (개요)

코덱 정렬 비전 인코더 – 세 가지 유형의 시각적 토큰을 수용하는 트랜스포머:
- I‑frames (고밀도, 전체 해상도 패치)
- P‑frames – 움직임이나 잔차 정보가 중요한 패치만 유지.
- 균일 프레임 – 하위 호환성을 위해 지원. 이를 통해 토큰 수를 낮게 유지하면서(예: 54 토큰) 훨씬 긴 영상 범위를 커버합니다.
단일 인코더 아키텍처 – 동일한 인코더가 모든 시각적 모달리티를 처리하므로 별도의 토크나이저나 라우팅 로직이 필요 없습니다.
4단계 커리큘럼 –
- 짧은 캡션으로 영상 능력 부트스트랩.
- 대규모 멀티모달 혼합 데이터로 지시어 튜닝.
- 긴 영상 캡션(10‑15분)으로 확장.
- 고밀도 긴 영상 샘플링과 400만 개의 공간 샘플로 코덱, 공간 및 추적 기술 정교화.
학습 스택 – Megatron‑LM 기반으로 구축되었으며, 공개된 Docker 이미지, Energon 패키지 데이터셋(~340 GB)을 사용하고 재현성을 위한 전체 로그를 제공합니다.

활용 사례

사용 사례	LLaVA‑OneVision‑2의 이점
영상‑LLM 연구	혁신적인 코덱 정렬 인코더와 전체 학습 파이프라인을 갖춘 공개 8B 모델을 제공하여 베이스라인 비교 및 어블레이션 연구를 가능하게 합니다.
멀티모달 어시스턴트 구축	추가 어댑터 없이 이미지, 영상, 3‑D 공간 입력을 처리하여 배포를 간소화합니다.
벤치마크 평가	리포지토리에 `lmms‑eval` 브랜치가 포함되어 있어 정확한 평가 래퍼, Docker 환경, 벤치마크 수치를 재현하기 위한 스크립트를 제공합니다.
멀티모달 ML 교육	엔드투엔드 코드, 데이터, 로그를 통해 학생들이 실제 대규모 학습 워크플로우를 학습할 수 있습니다.

퀵스타트

리포지토리 클론 후 루트 디렉토리로 이동합니다.
340 GB 번들 다운로드 (lmms‑lab‑encoder/ov2_quickstart) – Docker 이미지, Megatron 체크포인트, HF 토크나이저, 패키징된 학습 데이터셋이 포함되어 있습니다.
제공된 스크립트 실행 examples/llava_onevision2/quick_start_4b/quick_start.sh – 다음을 수행합니다:
- Docker 이미지 (llava_megatron:26.05) 로드.
- 번들 및 출력 디렉토리 마운트.
- 8개 GPU에서 SFT 실행을 시작하는 분리된 컨테이너 실행.
학습 모니터링 – README의 TensorBoard 링크 또는 Hugging Face에 업로드된 로그를 통해 확인합니다.
추론 – 표준 vLLM 또는 Hugging‑Face 파이프라인으로 모델을 로드할 수 있으며, 코덱 백엔드 래퍼는 vLLM 문서 링크에서 제공됩니다.

제한 사항 및 향후 과제

높은 하드웨어 요구 사항 – 전체 학습 번들은 약 340 GB이며, Docker와 NVIDIA 드라이버가 설치된 8‑GPU 노드가 필요합니다.
모델 가용성 – 현재 8B‑Instruct 체크포인트만 공개되었으며, 4B 버전은 "곧 출시 예정"입니다.
코덱 전용 전처리 – 코덱 정렬 토큰 예산의 이점을 얻으려면 HEVC 스타일의 패치 선택 단계를 실행해야 하며, 이는 표준 영상 파이프라인에 없는 전처리 레이어를 추가합니다.
벤치마크 제한 – 리포지토리에서 평가 스크립트를 제공하지만, 학습되지 않은 작업(예: 실시간 영상 채팅)에서의 성능은 아직 검증되지 않았습니다.

인용

@article{llava_onevision2,
  title   = {LLaVA‑OneVision‑2: Fully Open Framework for Democratized Multimodal Training},
  author  = {Glint Lab and others},
  year    = {2026},
  url     = {https://arxiv.org/pdf/2605.25979},
}

위의 모든 정보는 리포지토리의 README에서 직접 가져온 것이며, 외부적인 가정은 추가되지 않았습니다.