NVlabs/SimFoundry

解决的问题

SimFoundry 能够从短时实世界视频中自动创建物理准备就绪的仿真场景。它消除了在构建机器人研究用数字孪生时所需的繁琐手动标注和3D建模工作，使用户能够在一小时内将桌面或房间的视频转换为功能完整的仿真环境。

工作原理

该系统采用由三个主要阶段组成的模块化流水线：

1. 重建：一个13阶段的流程，输入视频后执行对象分割、深度估计、2D到3D网格生成和姿态估计，以构建适用于 OmniGibson 模拟器的场景。
2. 增强：利用视觉语言模型（VLM）提出并生成“数字双胞胎”——即在几何、外观和拓扑结构上与原始对象不同的变体，并建议潜在的操作任务。
3. 应用：将重建后的场景集成到 OmniGibson 中，用于机器人策略评估、远程操控和测试。

适用人群

专为需要高保真仿真环境来训练和评估机器人策略的研究人员和开发者设计，尤其适用于关注仿真到现实迁移（sim-to-real transfer）的用户。

主要亮点

• 完全自动化：无需手动标注，即可将真实视频转换为仿真场景。
• 模块化设计：各组件可独立替换，随着新基础模型发布，可灵活升级整个流水线。
• 数字双胞胎：自动生成多样化的对象变体，提升策略泛化能力。
• 物理准备就绪：输出包含物理参数，并支持 USD/OmniGibson 导出。
• 集成编辑器：包含基于浏览器的轻量级编辑器，用于快速组合，以及基于 OmniGibson 的编辑器，用于物理精度调整。