OpenAI の画像ベースロボット学習向け非対称アクタークリティック

非対称アクタークリティックアーキテクチャ

非対称アクタークリティック手法の核心的なイノベーションは、学習中にアクターとクリティックが利用できる情報を分離することです。従来のアクタークリティック型強化学習では、両コンポーネントは通常同じ観測空間を共有します。この非対称アプローチでは：

• クリティック: 物理シミュレータが提供する完全な状態可視性を用いて訓練されます。これにより、クリティックは環境の真の状態を正確に把握でき、"特権的"な情報ストリームをシミュレートします。
• アクター（ポリシー）: 入力としてレンダリングされた RGBD 画像のみを受け取ります。これにより、アクターは実世界展開時に使用する深度とカラーの視覚観測に基づいて動作することを学習します。

クリティックに完全な状態情報を提供することで、アルゴリズムはアクターの学習プロセスをより効果的に導き、シミュレーションにおける全体的な性能と安定性を向上させます。

シミュレーションから実世界への転送

シミュレートされた環境と実物世界のギャップを埋めるために、OpenAI は非対称アクタークリティック手法とドメインランダマイゼーションを組み合わせました。ドメインランダマイゼーションは、シミュレーション内で環境の物理特性や視覚的外観を変化させ、ポリシーが実世界とシミュレーション間の視覚的・物理的差異に対してロバストになるようにします。

OpenAI の研究者は、シミュレーションのみで訓練されたポリシーを実ロボットに成功裏に転送したことを実証しました。ロボットは以下のタスクを実行しました：

• ブロックを掴む
• ブロックを押す
• ブロックを特定の位置へ押す
• ブロックを移動させる

これらのタスクは実世界データでの訓練なしに達成され、物理ハードウェア上で RL エージェントを訓練する際のコストと危険性を削減する重要なマイルストーンとなります。

ロボット学習への示唆

この研究は、シミュレータの完全な状態可視性を活用した非対称アクタークリティック訓練が、より効率的でロバストなロボット学習を可能にすることを示しています。アクターの入力空間を観測系列から分離することで、アクターは高忠実度のクリティックからのハンドガイダンスに基づき、視覚入力を行動にマッピングすることを学習でき、完全な状態情報が利用できない実世界への展開でも互換性を保ちます。