danijar/dreamerv3

解決する課題

強化学習（RL）を異なるドメインに適用する際の困難さ、すなわち、ハイパーパラメータの調整に膨大な専門知識と計算リソースが必要とされる問題に対処します。DreamerV3は、固定されたハイパーパラメータで多様なタスクに対応できる、スケーラブルで汎用的なRLアルゴリズムを提供します。

仕組み

DreamerV3は、世界モデルを使用して経験から学習します。感覚入力をカテゴリ表現にエンコードし、アクションに基づいて将来の表現と報酬を予測します。その後、システムは、実世界との相互作用だけに頼るのではなく、この世界モデルによって生成された「想像上の軌跡」を使用して、アクター・クリティック・ポリシーを訓練します。

対象者

強化学習や制御タスクの研究者および開発者で、タスク固有の調整を必要とせず、より大きなモデルやより多くの勾藤ステップに合わせてスケールできる、堅牢でデータ効率の高いエージェントを求めている方。

ハイライト

• 固定ハイパーパラメータ: 手動の調整を必要とせずに、幅広いドメインを習得します。
• スケーラビリティ: モデルのサイズと勾配ステップが増えるにつれて、パフォーマンスとデータ効率が継続的に向上します。
• 世界モデルアプローチ: 環境の予測モデルを学習し、想像の中でポリシーを訓練します。
• JAXベース: GPU、CPU、またはTPU上での効率的な計算のためにJAXを使用して実装されています。