OpenAI 透過動態隨機化實現機械手臂控制的 Sim-to-Real 轉移

OpenAI 已經展示了一種在模擬訓練期間使用動態隨機化來彌合機器人領域「reality gap」的方法。此方法使得機械手臂控制策略能夠泛化到真實世界的物理系統，而無需在實體硬體上進行任何額外訓練。

使用動態隨機化彌合現實差距

在模擬中訓練的機械手臂代理在部署到實體硬體時經常會失敗，因為它們學到的行為過於特定於模擬器的特徵。這種差異，稱為「reality gap」，是因為建模錯誤阻礙了模擬策略直接轉移到真實世界。

為了解決此問題，OpenAI 在訓練過程中實施了一種對模擬器動態進行隨機化的方法。透過讓代理接觸廣泛的模擬物理特性，所得到的策略變得具備適應性。這些策略能夠處理與訓練期間使用的特定參數顯著不同的動態，從而使其能夠泛化到真實世界環境。

真實世界應用：物體推送任務

OpenAI 透過使用一個機械手臂來驗證此方法，該機械手臂的任務是從隨機初始配置將物體推送到目標位置。

實驗的主要成果包括：

• 零樣本轉移：該策略僅在模擬中訓練，然後直接部署到真實機器人上，無需對實體系統進行任何額外訓練。
• 效能一致性：機器人在真實世界中保持了與在模擬中相近的效能水平，可靠地將物體移動到目標位置。
• 穩健性：研究人員發現，所得到的策略對顯著的校準誤差具有穩健性，這意味著即使實體參數與模擬參數不完全對齊，系統仍然有效。

基於模擬的訓練優勢

利用模擬進行機械手臂代理的初始訓練相較於真實世界訓練提供了兩項主要優勢：

1. 數據豐富度：模擬提供了幾乎無限的數據來源，加速了學習過程。
2. 安全性：在虛擬環境中進行訓練可以減輕未訓練代理與實體硬體互動時產生的安全顧慮。