EvolvingLMMs-Lab/LLaVA-OneVision-2
Fully Open Framework for Democratized Multimodal Training
What it solves
LLaVA-OneVision-2 是一個多模態模型，旨在於單一架構中統一圖像、長影片與空間理解。它解決了大多數開源多模態模型僅限於 2D 單圖處理，或因 token 預算限制而難以處理長影片的問題。
How it works
本專案使用編解碼對齊的視覺編碼器（OneVision-Encoder），借鑒 HEVC 的概念。它不採用均勻取樣，而是保留密集的 I‑frames，僅從 P‑frames 中挑選含有運動與殘差資訊的 patch。這使模型在相同 token 預算下，能覆蓋標準流水線三倍的時間範圍。所有模態——圖像、均勻取樣的幀、以及編解碼對齊的 token——皆由同一編碼器使用共享位置方案處理，省去任務專屬適配器的需求。
Who it’s for
此模型適合多模態 AI 領域的開發者與研究者，提供一套完全開源、可重現的框架，用於訓練與部署能進行長影片推理、3D 感知空間推理以及高解析度文件/OCR 分析的模型。
Highlights
- Unified Architecture: One model handles images, long videos, and spatial reasoning without modality-specific routing.
- Codec-Aligned Encoding: Efficiently processes long videos by selecting only high-information patches.
- Fully Open: Releases the entire pipeline, including encoder weights, training code, configs, and full training logs.
- Comprehensive Datasets: Includes specialized datasets for dense video captioning and 3D-aware spatial reasoning.