OpenAI 大規模好奇心駆動学習の研究

OpenAI は好奇心駆動学習に関する研究を発表し、エージェントが外部報酬なしで複雑な行動を学習し、環境を解決できることを示しました。予測誤差を内在的報酬信号として使用することで、これらのエージェントは好奇心駆動の目的と従来の手作り外部報酬との間に高い整合性を示します。

内在的好奇心を報酬信号として

強化学習 (RL) は通常、エージェントの行動を導くために人間が設計した外部報酬に依存します。しかし、すべての環境に対して密な手作り報酬を作成することはスケーラビリティがありません。この問題に対処するため、研究チームはエージェントに内在する報酬関数を開発し、好奇心をエージェントの環境内部モデルの予測誤差として定義しました。

エージェントは、内部モデルが正確に予測できない状態や遷移に遭遇したときに報酬を受け取り、未知または未熟な領域の探索を促進します。

54 の環境にわたる大規模評価

OpenAI は Atari ゲームスイートを含む 54 の標準ベンチマーク環境全体で、純粋に好奇心駆動学習の初の大規模研究を実施しました。エージェントは外部報酬を一切受け取らずに訓練され、ゲームスコアやポイントといった信号を受け取らなかったことを意味します。

結果は驚くほど良好なパフォーマンスを示し、研究は内在的好奇心目的とこれらのゲームで通常使用される外部報酬との間に高い整合性があることを発見しました。

特徴空間と汎化

研究は、予測誤差を計算する際に異なる特徴空間がどのように使用されるかを調査しました。調査結果は次のとおりです。

• ランダム特徴: これらは多くの人気 RL ゲームベンチマークに対して十分です。
• 学習された特徴: これらは、エージェントが『スーパーマリオブラザーズ』の新しいゲームレベルをナビゲートするタスクにおいて、特に汎化性能を向上させます。

確率的環境における制限

好奇心駆動学習は多くのベンチマークで成功していますが、研究者は確率的（ランダム）設定における予測ベースの報酬の制限を特定しました。遷移が本質的に予測不可能な環境では、エージェントは有意義な探索を求めるのではなく、予測不可能な ruangan の性質に囚われてしまう可能性があります。

結論

本研究は、好奇心駆動学習が多くの場合に外部報酬を効果的に置き換えることができ、学習された特徴を使用することでエージェントの新しいレベルへの汎化能力が向上することを示しています。しかし、確率性の課題は予測ベースの内在的報酬に対する主要な制限として依然として残ります。