OpenAI 域随机化和生成模型用于机器人抓取

OpenAI 引入了一种新颖的数据生成管道和模型架构，用于机器人抓取，使机器人能够通过仅在数百万个程序生成的不真实对象上进行训练来抓取以前未见过的对象。此方法通过使用域随机化来弥合模拟与真实世界之间的差距，解决了机器人抓取中的泛化挑战。

域随机化用于对象合成

为了克服训练集仅由几百或几千个唯一对象实例组成的限制，OpenAI 在对象合成上应用了域随机化。与其专注于现有对象的真实模拟，该管道生成数百万个独特的、程序生成的、故意不真实的对象。

通过在该庞大且多样化的合成数据集上训练深度神经网络，模型学会抓取任意形状的对象以及其以前从未遇到过的形状的对象，使其能够在模拟和模拟到真实世界的迁移中成功地泛化到真实对象。

自回归抓取规划模型

由于任何给定对象的成功抓取分布可能是高度多模态的——这意味着通常存在多种不同的、有效的抓取对象的方式——OpenAI 实现了一个自回归抓取规划模型。

该模型将场景的传感器输入映射到可能抓取的概率分布。此架构使系统能够在测试时高效地采样抓取，或者完全跳过采样过程以直接识别最优抓取点。

性能与评估

OpenAI 在模拟和真实世界环境中评估了模型和数据生成管道。结果展示了模型从不真实的合成对象泛化到真实物理对象的能力：

• 模拟成功率： 模型在模拟中对以前未见过的真实对象实现了 >90% 的成功率。
• 真实世界成功率： 模型在未见过的对象上的真实世界抓取尝试中实现了 80% 的成功率，尽管它仅在随机模拟对象上进行了训练。

这些结果表明，从模拟到真实世界应用的学习成功迁移由数据生成管道和域随机化策略有效处理。