OpenDCAI/OpenWorldLib

OpenWorldLib – 世界モデルのための統合フレームワーク

概要 – OpenWorldLibは、世界モデル（複雑な環境を認識・記憶・推論・生成するマルチモーダルシステム）に関する研究をまとめたオープンソースのコードベースです。知覚、記憶、推論、生成のためのコンポーネント（拡散モデル、LLMコア、知覚、記憶、3D処理など）の標準化されたライブラリと、すぐに実行できるパイプラインを提供し、研究者が新しい手法をプラグインしたり、既存の手法をベンチマークしたりできます。

主な機能

マルチモーダル理解 – 視覚、音声、言語の知覚モジュール。
視覚・行動予測 – VQA、行動計画、インタラクティブ生成などの視覚・言語・行動（VLA）タスク用のパイプライン。
視覚生成 – ビデオ、ナビゲーション駆動ビデオ、長編ビデオ、自己中心的なインタラクションビデオ、3Dシーン合成。
記憶と推論 – 長期的な記憶構造と推論モジュール（空間、音声、一般）。
拡張可能なパイプライン – 事前学習済みの重みを読み込み、演算子（入力検証）を処理し、合成、推論、表現モジュールを調整する高レベルのPipelineクラス。stream()インターフェースは、自動コンテキスト保存によるマルチターン対話をサポートします。

はじめ方

# 1. conda環境を作成
conda create -n openworldlib python=3.10 -y
conda activate openworldlib

# 2. すべての依存関係をインストール（スクリプトがサブモジュールのインストール、CUDAライブラリなどを処理）
cd OpenWorldLib
bash scripts/setup/default_install.sh

インストール後、matrix-game-2ビデオ生成モデルのクイックデモを実行できます：

bash scripts/test_inference/test_nav_video_gen.sh matrix-game-2
bash scripts/test_stream/test_nav_video_gen.sh matrix-game-2

リポジトリには、他のモデル用の同様のスクリプトがscripts/test_inferenceとscripts/test_streamに多数含まれています。

プロジェクト構成

OpenWorldLib/
├─ assets/                     # ロゴ、デモメディア
├─ data/                       # ベンチマークおよびテストデータ
├─ docs/                       # インストールガイド、計画、キュレーションされた「awesome」リスト
├─ examples/                   # 評価ノートブック/スクリプト
├─ scripts/                    # セットアップ、テスト、ストリーミングスクリプト
├─ src/openworldlib/           # コアライブラリ
│   ├─ base_models/            # 拡散、LLM/マルチLLMコア、知覚バックボーン
│   ├─ memories/               # コンテキストメモリと推論メモリ
│   ├─ operators/              # 入力前処理/対話処理
│   ├─ pipelines/              # 高レベルPipelineクラス（推論とストリーミング）
│   ├─ reasoning/              # 音声、一般、空間推論モジュール
│   ├─ representations/        # 点群、シミュレーション環境ユーティリティ
│   └─ synthesis/              # 音声、視覚、VLA生成モジュール
├─ submodules/                # サードパーティツール（例: diff-gaussian-raster）
├─ test/ & test_stream/        # 単体テストと対話デモ
└─ tools/vibe_code/           # 迅速な貢献のためのプロンプト

開発者は通常、パイプラインをインスタンス化し、単一ターンにはpipeline(input)、対話形式の相互作用にはpipeline.stream()を呼び出します。memoryコンポーネントが以前のターンを追跡します。

ドキュメントとコミュニティ

インストールガイド – docs/installation.mdにメソッドごとの依存関係の詳細があります。
計画とロードマップ – docs/planning.mdに短期的な目標と今後のトレーニング/最適化作業がリストされています。
キュレーションされたリソース – docs/awesome_world_model.mdに論文、サーベイ、関連するオープンソースプロジェクトが集約されています。
貢献 – リポジトリは、新しい世界モデル手法の追加やキュレーションリストの更新を行うプルリクエストを奨励しています。「Vibe Coding」プロンプトライブラリ（tools/vibe_code/prompts）は、貢献者がボイラープレートコードを迅速に生成するのに役立ちます。

関連プロジェクト – OpenWorldLibは、OpenDCAIのDataFlowおよびDataFlow-MMフレームワークに基づいており、RayOrchおよびPaper2Anyと協力しています。

ライセンス – このプロジェクトは、リポジトリのLICENSEファイル（標準的なオープンソース、READMEのバッジを参照）に基づいてリリースされています。

引用 – ライブラリを使用する場合は、READMEに記載されている2つのarXiv論文（2026 arXiv:2604.04707およびarXiv:2602.01630）を引用してください。

OpenWorldLibは、ビデオ、3D、言語モダリティにわたって知覚、記憶、推論、生成を組み合わせた次世代の世界モデルを構築または評価するすべての人にとっての頼りになるツールボックスを目指しています。