OpenDCAI/OpenWorldLib

OpenWorldLib – 世界模型的统一框架

是什么 – OpenWorldLib 是一个开源代码库，汇集了世界模型的研究：这些是多模态系统，能够感知、记忆、推理并生成复杂环境的内容。它提供了标准化的组件库（扩散模型、LLM 核心、感知、记忆、3D 处理等）和开箱即用的流水线，使研究人员能够插入新方法或对现有方法进行基准测试。

主要能力

多模态理解 – 视觉、音频和语言感知模块。
视觉-动作预测 – 用于视觉-语言-动作（VLA）任务的流水线，如 VQA、动作规划和交互式生成。
视觉生成 – 视频、导航驱动视频、长视频、自我中心交互视频和 3D 场景合成。
记忆与推理 – 长期记忆结构和推理模块（空间、音频、通用）。
可扩展流水线 – 高层 Pipeline 类，可加载预训练权重、处理算子（输入验证）并协调合成、推理和表示模块。stream() 接口支持多轮交互，并自动存储上下文。

快速开始

# 1. 创建 conda 环境
conda create -n openworldlib python=3.10 -y
conda activate openworldlib

# 2. 安装所有依赖（脚本会处理子模块安装、CUDA 库等）
cd OpenWorldLib
bash scripts/setup/default_install.sh

安装后，您可以运行 matrix-game-2 视频生成模型的快速演示：

bash scripts/test_inference/test_nav_video_gen.sh matrix-game-2
bash scripts/test_stream/test_nav_video_gen.sh matrix-game-2

该仓库在 scripts/test_inference 和 scripts/test_stream 下包含许多其他模型的类似脚本。

项目结构

OpenWorldLib/
├─ assets/                     # 标志、演示媒体
├─ data/                       # 基准和测试数据
├─ docs/                       # 安装指南、规划、精选“awesome”列表
├─ examples/                   # 评估笔记本/脚本
├─ scripts/                    # 设置、测试和流式脚本
├─ src/openworldlib/           # 核心库
│   ├─ base_models/            # 扩散、LLM/多 LLM 核心、感知主干
│   ├─ memories/               # 上下文记忆和推理记忆
│   ├─ operators/              # 输入预处理/交互处理
│   ├─ pipelines/              # 高层 Pipeline 类（推理和流式）
│   ├─ reasoning/              # 音频、通用、空间推理模块
│   ├─ representations/        # 点云、仿真环境工具
│   └─ synthesis/              # 音频、视觉、VLA 生成模块
├─ submodules/                # 第三方工具（例如 diff-gaussian-raster）
├─ test/ & test_stream/        # 单元测试和交互演示
└─ tools/vibe_code/           # 快速贡献的提示

开发人员通常实例化一个流水线，对单轮调用 pipeline(input)，或对对话式交互调用 pipeline.stream()，其中 memory 组件跟踪先前的轮次。

文档与社区

安装指南 – docs/installation.md 详细说明了每种方法的依赖关系。
规划与路线图 – docs/planning.md 列出了短期目标和即将进行的训练/优化工作。
精选资源 – docs/awesome_world_model.md 汇集了论文、综述和相关开源项目。
贡献 – 该仓库鼓励添加新世界模型方法或更新精选列表的拉取请求。“Vibe Coding”提示库（tools/vibe_code/prompts）帮助贡献者快速生成样板代码。

相关项目 – OpenWorldLib 基于 OpenDCAI 的 DataFlow 和 DataFlow-MM 框架，并与 RayOrch 和 Paper2Any 合作。

许可证 – 该项目根据仓库的 LICENSE 文件（标准开源，见 README 中的徽章）发布。

引用 – 如果您使用该库，请引用 README 中列出的两篇 arXiv 论文（2026 arXiv:2604.04707 和 arXiv:2602.01630）。

OpenWorldLib 旨在成为任何构建或评估下一代世界模型的人的首选工具箱，这些模型结合了视频、3D 和语言模态的感知、记忆、推理和生成。