OpenDCAI/OpenWorldLib

Unified Codebase for Advanced World Models.

What it solves

OpenWorldLib は、知覚中心であり、インタラクションと長期記憶機能を持つモデルとして定義される、世界モデルのための統一された標準化されたフレームワークを提供します。既存の世界モデル関連のコードベースの不一致を、様々なオープンソース研究成果を単一の、構造化されたリポジトリに統合することで解消することを目的としています。

How it works

フレームワークは、世界モデリングのさまざまな側面を処理するいくつかのコアモジュールに構成されています：

  • Pipelines: ユーザーの主要なエントリーポイントであり、モデルのロードと環境の初期化を処理します。
  • Operators: 入力とインタラクション信号を処理および検証します。
  • Synthesis: 生成タスクを処理します。これには、視覚、オーディオ、および VLA (Vision-Language-Action) 生成が含まれます。
  • Reasoning: 空間、汎用、およびオーディオ推理の推論を実行管理します。
  • Representations: 3D 出力とシミュレーション環境を管理します。
  • Memory: マルチターン・インタラクションのための実行中のコンテキストを維持します。

Who it’s for

様々な世界モデル関連の手法を呼び出し、テストし、新しい研究成果を統合するための、一貫性のある方法を必要とする世界モデルコミュニティの研究者や開発者。

Highlights

  • Broad Task Support: ビデオ生成（ナビゲーション、長尺ビデオ、および一人称視点インタラクション）、3D シーン生成、および推理（VQA と VLA）をカバーしています。

  • Standardized Structure: Matrix-Game-2, FlashWorld, および Pi-0 のような多様なモデルを統合するための、明確なコードベース・アーキテクチャを提供します。

  • Integrated Resources: 最先端の世界モデル研究の精選リストと、貢献者のための専用の開発ガイドを提供します。