EvolvingLMMs-Lab/LLaVA-OneVision-2

TL;DR

LLaVA‑OneVision‑2 是一款开源的 80 亿参数多模态模型，能够通过单一视觉编码器理解图像、长视频和 3‑D 感知空间数据。该项目发布了模型权重、创新的“编解码器对齐”视觉编码器、四个训练数据集、完整的训练代码与日志，以及在单个 8‑GPU 节点上重现结果的脚本。

功能特色

统一多模态推理 – 单一 LLM 风格模型可接收静态图像、短视频、长视频或深度增强的空间场景，并回答问题或执行指令。
编解码器风格视频输入 – 编码器不只是采样几个均匀帧，而是从 HEVC 风格的 P‑frames 中选择富含运动的补丁，在相同的 token 预算下提供约 3 倍的时间覆盖率。
无需模态适配器 – 图像、均匀帧视频和编解码器对齐的 tokens 皆通过相同的 OneVision‑Encoder，并具有共享的 (t, h, w) 位置方案。
指令微调 – 发布的 LLaVA‑OneVision‑2‑8B‑Instruct 检查点已在多模态指令数据混合上进行了微调，包括长篇视频字幕 (10‑15 分钟) 和 3‑D 空间推理样本。

运作原理 (高阶概述)

编解码器对齐视觉编码器 – 一个接收三种视觉 tokens 的 transformer：
- I‑frames (密集、全分辨率补丁)
- P‑frames – 仅保留具有显著运动或残差信息的补丁。
- 均匀帧 – 支持向后兼容。这在保持低 token 数 (例如 54 tokens) 的同时，涵盖了更长的视频跨度。
单编码器架构 – 同一个编码器处理所有视觉模态，消除了对独立分词器或路由逻辑的需求。
四阶段课程 –
- 以短字幕引导视频能力。
- 在大型多模态混合数据上进行指令微调。
- 扩展至长视频字幕 (10‑15 分钟)。
- 通过密集长视频采样和 400 万个空间样本精炼编解码器、空间和追踪技能。
训练堆栈 – 基于 Megatron‑LM 构建，使用发布的 Docker 镜像、Energon 打包数据集 (~340 GB)，并提供完整的日志以供重现。

适用场景

使用案例	LLaVA‑OneVision‑2 的优势
视频‑LLM 研究	提供一个公开的 8B 模型，具备创新的编解码器对齐编码器和完整的训练流程，便于基准比较和消融实验。
构建多模态助手	单一模型处理图像、视频和 3‑D 空间输入，无需额外适配器，简化部署。
基准测试	仓库包含一个 `lmms‑eval` 分支，提供精确的评估封装、Docker 环境和重现基准数据的脚本。
多模态机器学习教学	端到端的代码、数据和日志让学生能观察真实的大规模训练工作流程。

快速开始

克隆仓库 并导航至根目录。
下载 340 GB 套件 (lmms‑lab‑encoder/ov2_quickstart) – 包含 Docker 镜像、Megatron 检查点、HF 分词器和打包的训练数据集。
执行提供的脚本 examples/llava_onevision2/quick_start_4b/quick_start.sh。它将：
- 加载 Docker 镜像 (llava_megatron:26.05)。
- 挂载套件和输出目录。
- 启动一个分离的容器，在 8 个 GPU 上开始 SFT 运行。
监控训练 通过 README 中的 TensorBoard 链接或上传至 Hugging Face 的日志。
推理 – 模型可使用标准 vLLM 或 Hugging‑Face pipelines 加载；vLLM 文档链接中提供了编解码器后端封装。

限制与待解决问题

硬件需求高 – 完整的训练套件约 340 GB，需要具备 Docker 和 NVIDIA 驱动程序的 8‑GPU 节点。
模型可用性 – 目前仅发布 8B‑Instruct 检查点；4B 版本列为“即将推出”。
编解码器特定预处理 – 若要从编解码器对齐的 token 预算中受益，需要执行 HEVC 风格的补丁选择步骤，这增加了一个标准视频流程中不存在的预处理层。
基准测试仅限于已报告的项目 – 虽然仓库提供了评估脚本，但尚未展示在未见任务 (例如实时视频聊天) 上的表现。

引用

@article{llava_onevision2,
  title   = {LLaVA‑OneVision‑2: Fully Open Framework for Democratized Multimodal Training},
  author  = {Glint Lab and others},
  year    = {2026},
  url     = {https://arxiv.org/pdf/2605.25979},
}

以上所有信息均直接取自仓库的 README；未添加任何外部假设。

EvolvingLMMs-Lab/LLaVA-OneVision-2

TL;DR

功能特色

运作原理 (高阶概述)

适用场景

快速开始

限制与待解决问题

引用

相关