EvolvingLMMs-Lab/LLaVA-OneVision-2
Fully Open Framework for Democratized Multimodal Training
What it solves
LLaVA-OneVision-2 是一个多模态模型，旨在于单一架构中统一图像、长视频与空间理解。它解决了大多数开源多模态模型仅限于 2D 单图处理，或因 token 预算限制而难以处理长视频的问题。
How it works
本项目使用编解码对齐的视觉编码器（OneVision-Encoder），借鉴 HEVC 的概念。它不采用均匀采样，而是保留密集的 I‑frames，仅从 P‑frames 中挑选含有运动与残差信息的 patch。这样模型在相同 token 预算下，能够覆盖标准流水线三倍的时间范围。所有模态——图像、均匀采样的帧、以及编解码对齐的 token——均由同一编码器使用共享位置方案处理，省去任务专属适配器的需求。
Who it’s for
此模型适合多模态 AI 领域的开发者与研究者，提供一套完全开源、可复现的框架，用于训练与部署能够进行长视频推理、3D 感知空间推理以及高分辨率文档/OCR 分析的模型。
Highlights
- Unified Architecture: One model handles images, long videos, and spatial reasoning without modality-specific routing.
- Codec-Aligned Encoding: Efficiently processes long videos by selecting only high-information patches.
- Fully Open: Releases the entire pipeline, including encoder weights, training code, configs, and full training logs.
- Comprehensive Datasets: Includes specialized datasets for dense video captioning and 3D-aware spatial reasoning.