OpenAI Gotta Learn Fast ベンチマーク

OpenAIは、エージェントが異なる環境間でどれだけ汎化できるかを評価することを目的とした新しい強化学習（RL）ベンチマークをリリースしました。Sonic the Hedgehogのビデオゲームフランチャイズを使用することで、このベンチマークは転移学習および少数ショット学習アルゴリズムの有効性を測定する標準化された方法を提供します。

ベンチマークの目的と設計

「Gotta Learn Fast」ベンチマークは、汎化に関するRLアルゴリズムの性能をテストするために特別に作成されました。多くのRLエージェントが単一タスクの習得に優れている一方で、このベンチマークはエージェントがある環境で得た知識を別の環境に適用する能力に焦点を当てています。

主な評価指標

このベンチマークは、2つの主要な学習パラダイムを測定します：

• Transfer Learning: エージェントが過去の経験を活用して、新しいが関連するタスクのパフォーマンスを向上させる能力。
• Few-Shot Learning: エージェントが少量の経験やデータだけで新しい環境に迅速に適応する能力。

ベースラインアルゴリズムの評価

このベンチマークのリリースの一環として、OpenAIの研究者は複数のベースラインアルゴリズムを評価し、性能の下限を設定しました。これらのベースラインは、強化学習における汎化に関する今後の研究の参照ポイントとして機能し、研究者が迅速な適応と知識転移のための既存手法を開発・改良できるようにします。