LongLive – NVIDIAの長コンテキスト動画・ロボット行動モデリングスイート

TL;DR

LongLive は、NVIDIA の 4 つの関連研究プロジェクトを集めたもので、超長尺動画生成と長コンテキストロボット行動モデルの限界を押し広げます。各サブプロジェクトは独立したフォルダに格納され、個別にクローンできます。リポジトリには、以下のためのコード、トレーニングレシピ、推論パイプライン、事前学習済みチェックポイントが含まれています：

Long‑WAM – 実ロボットデモ付きで、数分間のビデオを見て行動できるワールドアクションモデル。
LongLive‑Plug – 再トレーニングなしで既存のビデオモデルに新しい機能を追加する「一度で全て」の LoRA スタイル蒸留。
LongLive 2.0 – 長尺ビデオ拡散モデルのトレーニングと推論のための高性能インフラストラクチャ（NVFP4量子化、シーケンス並列処理、KVキャッシュのトリック）。
LongLive 1.0 – ユーザーがストリーミング中にビデオを操作できる、インタラクティブなリアルタイムテキストからビデオへのシステム。

すべてのプロジェクトは Apache‑2.0 でオープンソース化されており、HuggingFace でモデルウェイトを提供しています。

1. 解決する問題

（数秒ではなく）数分続くビデオの生成や使用は、すぐに 2 つのボトルネックに直面します。

メモリ – トランスフォーマー型拡散モデルはKVキャッシュを保持し、長さに比例して増加します。
計算 – 長いシーケンスのトレーニングはコストがかかり、推論は遅くなります。

LongLive は両方に取り組みます：

ストリーミングビジュアルメモリ（Long‑WAM）により、ロボットは見たもののローリング表現を保持でき、長いホライズンにわたって行動するポリシーを可能にします。
NVFP4量子化とシーケンス並列処理（LongLive 2.0）でメモリを削減し、トレーニング/推論を >18% 高速化します。
一度で全ての蒸留（LongLive‑Plug）は、再利用可能な機能（LoRAアダプター）をベースモデルから分離し、拡散ネットワーク全体を再トレーニングせずに新しい動作を追加できます。
インタラクティブ生成（LongLive 1.0）は拡散プロセスをストリーミングし、ユーザーがプロンプトをオンザフライで変更できます。

2. コアコンポーネントと連携

コンポーネント	目的	主要技術	典型的なユースケース
Long‑WAM	長コンテキストロボットポリシーとビデオ生成	ストリーミングIDM/COD、エージェントAPI、ビジュアルメモリ、ロボット固有アダプター	LIBERO、RoboTwin、RoboCasa でのポリシーのトレーニング/評価；YAM、Franka、Unitree G1 に展開
LongLive‑Plug	トレーニング済み機能を多くのビデオモデルで再利用	LoRAアダプター、少ステップ/CFG蒸留、「一度で全て」トレーニング	完全な再トレーニングなしでベース拡散モデルに新しいスタイル、オブジェクト、制御信号を追加
LongLive 2.0	長尺ビデオの高速でスケーラブルなトレーニングと推論	NVFP4（W4A4）量子化、KVキャッシュ量子化、シーケンス並列処理、非同期デコード	単一の H100 で 45 FPS の 5 億パラメータのビデオ拡散モデルをトレーニング；低レイテンシでサービス提供
LongLive 1.0	リアルタイムインタラクティブテキストからビデオへ	アテンションシンク、KV リキャッシュ、ストリーミングロングチューニング	ストリーミング中にプロンプトを編集できるユーザーガイドによるビデオ作成

4 つすべてが共通のコードベース（ユーティリティスクリプト、モデルロードヘルパー、評価ツール）を共有し、スパースチェックアウトできるため、必要な部分だけをプルできます。

3. はじめに（クイックスタート例）

#  Long‑WAM サブプロジェクトのみをクローン
 git clone --filter=blob:none --sparse --depth 1 \
    https://github.com/NVlabs/LongLive.git && cd LongLive
 git sparse-checkout set Long-WAM
 cd Long-WAM

# 依存関係をインストール（正確なバージョンは Long-WAM/README を参照）
 pip install -r requirements.txt

# 事前学習済みチェックポイントをダウンロード（例：LIBERO‑IDM）
 python download_checkpoint.py --model Long-WAM-LIBERO-IDM

# 推論デモを実行（ストリーミングロボットビデオ）
 python demo_robot_video.py --policy libe…

Long-WAM を LongLive-Plug、LongLive2.0、または LongLive1.0 に置き換えて、他のツールを試してください。

4. 注目すべき結果とベンチマーク

プロジェクト	モデルサイズ	速度（FPS）	VBenchスコア	ハイライト
LongLive‑2.0‑5B‑NVFP4‑2Step	5 億	45.7	83.14	最速の NVFP4 推論（W4A4）
LongLive‑2.0‑5B‑NVFP4‑4Step	5 億	29.7	84.51	速度と品質の良いトレードオフ
LongLive‑1.3B	1.3 億	20.7	84.87	単一の H100 でのリアルタイムインタラクティブ生成
Long‑WAM（RoboCasa GR1、4.8 秒コンテキスト）	–	–	–	10 秒以上のロボットビデオにわたるストリーミングビジュアルメモリを示す

リポジトリには、LongLive 上に構築された多くの下流プロジェクト（DreamForge‑World、SANA‑Video、MemFlow など）もリストされており、コミュニティへの影響を示しています。

5. 誰が使うべきか？

研究者：長いホライズンのビデオ拡散、ロボットポリシー学習、メモリ効率の高いトランスフォーマーを探索している方。
エンジニア：低レイテンシ推論を必要とするリアルタイムビデオ生成製品を構築している方。
ロボティクスチーム：事前学習済みのワールドアクションモデルを微調整したり、Franka や Unitree などのハードウェアに直接展開したい方。
ML オペレーション担当者：大規模並列トレーニング（NVFP4、シーケンス並列処理）に関心のある方。

6. 制限事項と未解決の質問

最も高性能な構成（NVFP4、KVキャッシュ量子化）は現在、NVIDIA H100 / DGX ハードウェアが必要です。コンシューマー GPU での実行は遅くなります。
実ロボット展開の例は、リストされたプラットフォーム（YAM、Franka、Unitree G1）に限定されています。他のロボットへの適応にはカスタムラッパーが必要です。
「一度で全て」の蒸留は、ベースモデルとターゲットモデルがアーキテクチャを共有する場合に最適に機能します。クロスアーキテクチャ転送はまだサポートされていません。

7. ライセンスと引用

コードは Apache‑2.0 のもとでリリースされています。各サブフォルダにはライセンスのコピーと第三者の通知が含まれています。研究でモデルやコードを使用する場合は、README にリストされている 4 つの arXiv 論文を引用してください。

結論： LongLive は、長いコンテキストのビデオ拡散とロボット行動モデリングのフロンティアを押し広げる、本格的でプロダクショングレードの研究スイートであり、高性能インフラストラクチャとすぐに使える事前学習済みモデルの両方を提供します。