mohmdelsayed/streaming-drl

何を解決するか

このプロジェクトは、深層強化学習（RL）における「ストリーム障壁」に取り組んでいます。ほとんどの深層RLアルゴリズムは、過去の相互作用を格納する経験リプレイバッファに依存していますが、これはリソース制約やプライバシーに敏感なアプリケーションでは現実的ではありません。以前のストリーミングRL（到着した経験から直接学習する）の試みは、しばしば効果的に学習できず、ランダムな方策とほぼ同じ性能にとどまっていたのです。

どう動くか

このプロジェクトは「Stream-X」レシピを実装しています。これは、ストリーミング深層RLを安定かつ効果的にするための技術のセットです。3つの主要な要素を組み合わせています：

1. 信号の正規化：データ入力を標準化します。
2. 表現の安定化：ニューラルネットワークの内部表現が一貫性を保つようにします。
3. 制御されたパラメータ更新：学習中にモデルの重みがどのように調整されるかを管理します。

このレシピを、Stream-AC、Stream-RAC、Stream-Q、Stream-SARSAなどの基本アルゴリズムに適用することで、リプレイバッファを必要とせずに経験のストリームから学習できるようになります。

対象ユーザー

メモリ制限やプライバシー要件により、過去の大量データを保存することが禁止される環境でエージェントを訓練する必要がある強化学習の研究者や開発者です。

主な特徴

• ストリーム障壁を克服：ストリーミングデータから効果的に学習できる、初めての深層RLアルゴリズムのファミリーを提供します。
• バッファ依存性へのヘッジ：PPO、SAC、DQNなどのバッチRLアルゴリズムへの依存を軽減します。
• 広範な互換性：Atari、MuJoCo、Classical Control、dm_controlなど、幅広い環境をサポートします。
• 一貫したパフォーマンス：各アルゴリズムについて、さまざまなタスクで同一の事前設定されたハイパーパラメータ構成を使用します。