ToyBlocks：用于机器人学习与评估的受控世界

ToyBlocks 概述

ToyBlocks 是一个全新的仿真框架，旨在作为机器人研究的“基础世界”（FoundationWorld），提供一个受控环境，使研究人员能够系统地改变训练数据、模型设计和测试条件。通过专注于一个受限领域——即机器人手臂在桌面上操作积木——ToyBlocks 能够研究复杂的机器人学问题，例如模型如何泛化到新任务，以及如何有效地将高层推理与精确的物理控制相结合。

核心框架要求

ToyBlocks 的构建旨在通过满足以下四个关键要求，解决狭窄的现实世界机器人演示的局限性：

逼真的物理和外观： 确保模拟行为与物理对应物紧密匹配。
大规模自动生成： 无需耗时的人工远程操作即可创建任务和演示数据。
推理与灵巧性： 挑战模型，使其能够将高层规划与物理操作技能相结合。
广泛的领域覆盖： 在定义的范围内提供一套全面的任务。

技术架构

ToyBlocks 集成了多个组件以促进端到端的机器人学习：

技能生成： 在 Nvidia 的 Isaac Lab 中使用强化学习 (RL) 和运动规划来开发非抓取技能，如推动、翻转和旋转积木。
任务与运动规划 (TAMP)： 自动对这些技能进行排序以解决复杂任务，从而大规模生成带标签的演示数据集——在单个 GPU 上可达到实时性能的 24 倍。
分层控制： 该框架支持高层推理模型（例如 Molmo 2）与低层动作模型（例如 ManiFlow）之间的分离，前者决定策略，后者执行具体的物理动作。

研究应用

ToyBlocks 为机器人研究的几个关键领域提供了测试平台：

空间泛化： 研究人员可以测试视觉-语言-动作 (VLA) 模型如何处理物体布局、光照和工作空间边界的变化，从而帮助识别为什么许多当前模型仍然脆弱。
长程规划： 通过创建诸如用积木拼写单词等多步任务，该框架允许评估分层规划，包括智能体必须执行探索性动作以揭示信息的场景。
智能体系统： 该框架支持通过模型上下文协议 (MCP) 与前沿模型集成，允许智能体使用自然语言与环境交互、形成假设并设计自己的实验。
世界模型评估： ToyBlocks 提供地面实况状态数据，使研究人员能够衡量动作条件下的世界模型（例如 Wan 2.2 或 LeWM）预测物理交互和任务结果的准确性。

从仿真到现实的迁移

为了弥合仿真与现实世界之间的差距，该框架采用系统辨识来调整仿真参数（如关节摩擦力和惯性），以匹配物理机器人的轨迹。此外，它还对物理和视觉属性使用域随机化，并从 RGB 图像生成清晰的深度图以提高推理能力。初步实验表明，完全在 ToyBlocks 仿真中训练的分层系统在部署到物理 Franka FR3 机器人上时取得了相当的成功率，证明了基于仿真的训练在转换到现实硬件方面的潜力。