SimWorld-AI/SimWorld

解决的问题

SimWorld 提供了一个真实、开放式的仿真平台，用于开发和评估 LLM/VLM（大语言模型/视觉语言模型）智能体。它解决了在复杂物理和社会环境中测试具身人工智能任务（如导航、规划和战略协作）的需求，而无需承担现实世界部署带来的风险或成本。

工作原理

基于 Unreal Engine 5 构建，该平台采用三层架构：

1. Unreal Engine 后端：负责物理仿真、丰富资产和环境管理。
2. 环境层：管理程序化城市生成、语言驱动的场景编辑，并提供类似 Gym 的 API 供智能体交互。
3. 智能体层：允许 LLM/VLM 智能体处理多模态观测（RGB、深度、分割）并通过本地动作规划器执行动作。

用户可以从城市场景的基础包开始，或通过超过 100 个预构建地图以及自定义的 .pak 文件扩展自己的仿真环境和资产。

适用对象

专为从事具身人工智能、自主智能体以及 LLM 和 VLM 多模态推理的研究人员和开发者设计。

主要亮点

• 多模态感知：支持 RGB 图像、深度图和分割掩码作为智能体的观测输入。
• 程序化生成：支持基于语言的程序化城市生成，以创建多样化场景。
• 类似 Gym 的接口：提供熟悉的 API，便于在仿真环境中训练和评估智能体。
• 可自定义：支持导入用户自己的 Unreal Engine 环境、资产和智能体模型。
• 开放世界：结合精确物理与社会推理场景，支持复杂行为测试。