amap-cvlab/ABot-World
Infinite Interactive World Rollout on a Single Desktop GPU
何を解決するか
ABot-WorldはAI生成コンテンツにおける受動的な動画再生の制限を克服し、リアルタイムでインタラクティブな世界シミュレータを提供します。ユーザーは行動を通じて環境を制御でき、固定された動画長や特定のシーンプロンプトに縛られることなく、無限に広がる世界の探索が可能になります。
動作方法
このシステムは因果的スタディモデル（ABot-World-0-5B-LF）と呼ばれる技術と、LongForcing 学習を用いて行動条件付きの動画ロールアウトを生成します。これにより、モデルは即座に新しいシーンやダイナミクスを想像できます。消費向けハードウェアに高度に最適化されており、FlashAttention、SageAttention、LightX2Vなどの専用カーネルを活用して、単一のデスクトップGPU上でリアルタイム性能を実現しています。
対象ユーザー
このプロジェクトは、世界モデル、インタラクティブAI環境、リアルタイム動画生成に取り組む研究者や開発者、および高級消費向けGPU（特にNVIDIA RTX 5090でテスト済み）をお持ちのユーザー向けです。
主な特徴
- リアルタイム性能: 単一のRTX 5090で720p、16 FPS、1.2秒のレイテンシで動作。
- 行動駆動型制御: ユーザーの入力にリアルタイムで反応する、継続的な探索を可能にします。
- 無限ロールアウト: 伝統的な固定動画長の制限を超えた、オープンエンドな生成をサポートします。
- 効率的なメモリ使用: GPUメモリ使用量は19GB以内に収まります。
関連
- プロジェクト
- プロジェクト
AMAP-ML/DreamX-WorldDreamX-Worldは、イベントプロンプトを通じてユーザーが環境を探索・変換できる高精細で制御可能なシミュレーションを生成する汎用的なインタラクティブな世界モデルです。
- プロジェクト
nv-tlabs/Gamma-WorldGamma-Worldは、複数の独立して制御可能なエージェントが共有環境で同時に相互作用する生成型マルチエージェントワールドモデルであり、24 FPSでリアルタイムインタラクティブビデオ生成をサポートします。
- プロジェクト
AlayaLab/AlayaWorldAlayaWorld は、単一の画像、カメラ軌道、テキストプロンプトから長く、3D 一貫性のあるビデオを生成する研究グレードのビデオワールドモデルです。軽量な AdaLN コントローラーと蒸留された数ステップの DMD 学生モデルを介して、リアルタイムインタラクション（カメラ操作、プロンプト切り替え）をサポートします。リポジトリには、4 つの生成パスの推論コード、事前学習済みウェイト（AR 教師、DMD 学生、ステージ 1 双方向 Transformer）、部分的なトレーニングデータ、インタラクティブなブラウザデモが含まれています。LTX-2 コミュニティライセンスの下で、学術的、非商用利用に限定されています。
- プロジェクト
amap-cvlab/ABot-ReconABot‑Recon は、長いビデオストリームから高密度の 3‑D マップを再構築する研究グレードのシステムで、常に 12 フレームのローカルコンテキストのみを保持します。フレームごとの点群と相対ポーズを予測し、それらをグローバル軌跡に合成し、H100 上で約 24 FPS で動作します。リポジトリには、インストールスクリプト、Python API、オプションのループクロージャ、可視化ツール、Hugging Face 上の事前学習チェックポイントが含まれています。