EvolvingLMMs-Lab/LLaVA-OneVision-2

TL;DR

LLaVA‑OneVision‑2は、単一のビジョンエンコーダーで画像、長尺動画、3‑D空間データを理解できる、80億パラメータのオープンソースマルチモーダルモデルです。本プロジェクトでは、モデルの重み、革新的な「コーデックアライメント済み」ビジョンエンコーダー、4つの学習データセット、完全な学習コードとログ、および単一の8‑GPUノードで結果を再現するためのスクリプトを公開しています。

機能

統合されたマルチモーダル推論 – 単一のLLMスタイルモデルで、静止画、短尺動画、長尺動画、または深度強化された空間シーンを入力し、質問への回答や指示の実行が可能です。
コーデックスタイルの動画入力 – 均一なフレームをサンプリングするのではなく、HEVCスタイルのP‑framesから動きの豊富なパッチを選択することで、同じトークン予算で約3倍の時間的カバレッジを実現します。
モダリティごとのアダプターが不要 – 画像、均一フレーム動画、コーデックアライメント済みトークンはすべて、共有の (t, h, w) 位置スキームを持つ同じ OneVision‑Encoder を通過します。
指示チューニング済み – 公開されている LLaVA‑OneVision‑2‑8B‑Instruct チェックポイントは、長尺動画のキャプション (10‑15分) や3‑D空間推論サンプルを含む、マルチモーダル指示データの混合で微調整されています。

仕組み (概要)

コーデックアライメント済みビジョンエンコーダー – 3種類のビジュアルトークンを取り込むトランスフォーマー：
- I‑frames (高密度、フル解像度パッチ)
- P‑frames – 動きや残差情報が重要なパッチのみを保持。
- 均一フレーム – 下位互換性のためにサポート。これにより、トークン数を低く抑えつつ (例: 54トークン)、より長い動画スパンをカバーします。
単一エンコーダーアーキテクチャ – 同じエンコーダーがすべての視覚モダリティを処理するため、個別のトークナイザーやルーティングロジックが不要です。
4段階のカリキュラム –
- 短いキャプションで動画能力をブートストラップ。
- 大規模なマルチモーダル混合データで指示チューニング。
- 長尺動画キャプション (10‑15分) に拡張。
- 高密度な長尺動画サンプリングと400万の空間サンプルで、コーデック、空間、追跡スキルを洗練。
学習スタック – Megatron‑LMをベースに構築され、公開されているDockerイメージ、Energonパッケージデータセット (~340 GB) を使用し、再現性のための完全なログを提供します。

用途

ユースケース	LLaVA‑OneVision‑2の利点
動画LLMの研究	革新的なコーデックアライメント済みエンコーダーと完全な学習パイプラインを備えた公開8Bモデルを提供し、ベースライン比較やアブレーションを可能にします。
マルチモーダルアシスタントの構築	追加のアダプターなしで画像、動画、3‑D空間入力を処理できるため、デプロイが簡素化されます。
ベンチマーク評価	リポジトリには `lmms‑eval` ブランチが含まれており、正確な評価ラッパー、Docker環境、ベンチマーク数値を再現するためのスクリプトが用意されています。
マルチモーダルMLの教育	エンドツーエンドのコード、データ、ログにより、学生は現実的な大規模学習ワークフローを学ぶことができます。

クイックスタート

リポジトリをクローン し、ルートディレクトリに移動します。
340 GBのバンドルをダウンロード (lmms‑lab‑encoder/ov2_quickstart) – Dockerイメージ、Megatronチェックポイント、HFトークナイザー、パッケージ化された学習データセットが含まれています。
提供されたスクリプトを実行 examples/llava_onevision2/quick_start_4b/quick_start.sh。これにより以下が行われます：
- Dockerイメージ (llava_megatron:26.05) のロード。
- バンドルと出力ディレクトリのマウント。
- 8つのGPUでSFT実行を開始するデタッチコンテナの起動。
学習の監視 – README内のTensorBoardリンクまたはHugging Faceにアップロードされたログを通じて行います。
推論 – 標準の vLLM またはHugging‑Faceパイプラインでモデルをロード可能です。コーデックバックエンドのラッパーは vLLM ドキュメントリンクで提供されています。

制限事項と今後の課題

ハードウェア負荷が高い – 完全な学習バンドルは約340 GBあり、DockerとNVIDIAドライバーを備えた8‑GPUノードが必要です。
モデルの可用性 – 現在は8B‑Instructチェックポイントのみ公開されており、4Bバージョンは「近日公開」となっています。
コーデック固有の前処理 – コーデックアライメント済みトークン予算の恩恵を受けるには、HEVCスタイルのパッチ選択ステップを実行する必要があり、標準的な動画パイプラインにはない前処理レイヤーが追加されます。
ベンチマークの限定性 – リポジトリには評価スクリプトが提供されていますが、未知のタスク (例: リアルタイム動画チャット) でのパフォーマンスはまだ実証されていません。

引用

@article{llava_onevision2,
  title   = {LLaVA‑OneVision‑2: Fully Open Framework for Democratized Multimodal Training},
  author  = {Glint Lab and others},
  year    = {2026},
  url     = {https://arxiv.org/pdf/2605.25979},
}

上記のすべての情報はリポジトリのREADMEから直接引用したものであり、外部からの仮定は追加されていません。

EvolvingLMMs-Lab/LLaVA-OneVision-2

TL;DR

機能

仕組み (概要)

用途

クイックスタート

制限事項と今後の課題

引用

関連