OpenAI 領域隨機化與生成模型用於機械手抓取

OpenAI 提出了一種新穎的數據生成管道和模型架構，用於機械手抓取，使機器人能夠僅透過在數百萬個程序生成且不真實的物體上進行訓練，來抓取先前未見過的物體。此方法透過使用領域隨機化來彌合模擬與真實世界之間的差距，解決了機械手抓取的泛化挑戰。

用於物體合成的領域隨機化

為了克服訓練集僅由幾百或幾千個獨特物體實例組成的限制，OpenAI 在物體合成上應用了領域隨機化。與其專注於現有物體的真實模擬，該管道生成數百萬個獨特且故意不真實的程序生成物體。

透過在這龐大且多樣化的合成數據集上訓練深度神經網路，模型學會抓取任意形狀以及其從未遇見過的形狀的物體，使其能夠在模擬與模擬到真實世界的轉移中成功泛化到真實物體。

自回歸抓取規劃模型

由於任何給定物體的成功抓取分布可能是高度多模態的——意為通常存在多種不同且有效的抓取物體的方式——OpenAI 實施了一個自回歸抓取規劃模型。

此模型將場景的感測器輸入映射到可能抓取的機率分佈上。此架構使系統能夠在測試時高效地抽樣抓取，或完全跳過抽樣過程以直接識別最佳抓取點。

性能與評估

OpenAI 在模擬與真實世界環境中評估了該模型和數據生成管道。結果顯示模型能夠從不真實的合成物體泛化到真實物體：

• 模擬成功率： 模型在模擬中對先前未見過的真實物體達成了 >90% 的成功率。
• 真實世界成功率： 模型在未見物體的真實世界抓取嘗試中達成了 80% 的成功率，儘管其僅在隨機模擬物體上進行訓練。

這些結果表明，透過數據生成管道和領域隨機化策略，從模擬到真實世界應用的學習轉移被有效處理。