OpenAI 通过动态随机化实现机器人控制的仿真到真实迁移

OpenAI 通过在仿真训练过程中使用动态随机化，展示了一种在机器人领域弥合“现实差距”的方法。这种方法使得机器人策略能够泛化到真实世界的物理系统，而无需在实际硬件上进行任何训练。

通过动态随机化弥合现实差距

在仿真中训练的机器人代理在部署到实际硬件时经常会失败，因为它们发展出的行为过于特定于模拟器的特性。这种差异，被称为“现实差距”，是因为建模错误阻止了仿真策略直接转移到真实世界。

为了解决这个问题，OpenAI 在训练过程中实施了一种对模拟器动态进行随机化的方法。通过让代理接触各种各样的模拟物理特性，得到的策略变得具有适应性。这些策略能够处理与训练期间使用的特定参数显著不同的动态，从而使其能够泛化到真实世界环境。

实际应用：物体推送任务

OpenAI 使用一个机械臂来验证此方法，该机械臂的任务是从随机初始配置将物体推送到目标位置。

实验的主要成果包括：

• 零样本迁移：策略仅在仿真中训练，并在真实机器人上部署，无需对物理系统进行任何额外训练。
• 性能一致性：机器人在真实世界中保持了与仿真中相似的性能水平，可靠地将物体移动到目标位置。
• 鲁棒性：研究人员发现，得到的策略对显著的校准误差具有鲁棒性，这意味着即使物理参数与仿真不完全对齐，系统仍然有效。

基于仿真的训练优势

利用仿真进行机器人代理的初始训练相比真实世界训练提供了两个主要优势：

1. 数据丰富：仿真提供了几乎无限的数据来源，加速了学习过程。
2. 安全：在虚拟环境中训练可以减轻未训练代理与物理硬件交互时产生的安全问题。