OpenEnvision/WorldFoundry

解决的问题

WorldFoundry 提供了一个统一的基础设施，用于开发、运行和评估世界模型。它消除了模型仓库的碎片化问题，为视频生成、3D/4D 表示以及具身 AI 行为等多种模态，提供了统一的推理、资产管理和基准测试堆栈。

如何工作

该项目将世界模型组织为「模型动物园」，将基准测试组织为「基准动物园」，并使用标准化的目录系统。它提供多种交互接口：

• 推理接口：用户可通过终端用户界面（TUI）、命令行界面（CLI）或基于浏览器的 Studio 工作区生成产物。
• 运行时：模型架构和推理适配器保留在项目内部（"in-tree"），而大型检查点和数据集则本地存储或通过 Hugging Face 进行暂存。
• 评估流水线：评估运行器执行模型-基准对，导入结果，并生成归一化评分卡，以验证性能声明。
• 优化：支持多种加速后端（如 FlashAttention、xFormers 和量化），并内置「真实矩阵」以追踪经认证的质量和加速效果。

适用人群

• AI 研究人员：从事世界模型、视频生成和具身智能研究，需要标准化方式运行和比较模型的人。
• ML 工程师：开发交互式世界或 VLA（视觉-语言-动作）策略的开发者。
• 模型评估者：需要严格、可复现的基准测试结果及正式评分卡的用户。

主要亮点

• 全面的模态支持：涵盖视频、3D/4D 和具身动作模型。
• 统一的工作空间：基于浏览器的 Studio，用于管理推理任务和审查产物。
• 集成的基准测试：正式系统用于运行基准测试并生成经过资格验证的评分卡。
• 灵活的推理：支持 TUI、CLI 和 Studio 接口，用于相同的底层模型运行时。
• 硬件加速：内置对高级内核和量化支持，以优化 GPU 性能。