mohmdelsayed/streaming-drl

解决的问题

该项目解决了深度强化学习（RL）中的「流屏障」问题。大多数深度强化学习算法依赖经验回放缓冲区来存储过去的交互，这在资源受限或对隐私敏感的应用中不切实际。以往尝试实现流式强化学习（直接从到达的经验中学习）的方法往往无法有效学习，性能接近随机策略。

如何工作

该项目实现了「Stream-X」配方，这是一套旨在使流式深度强化学习稳定且有效的技术。它结合了三个核心组件：

1. 信号归一化：标准化数据输入。
2. 表示稳定性：确保神经网络的内部表示保持一致。
3. 受控参数更新：管理模型权重在学习过程中的调整方式。

通过将此配方应用于 Stream-AC、Stream-RAC、Stream-Q 和 Stream-SARSA 等基础算法，系统可以在无需回放缓冲区的情况下，从经验流中学习。

适用人群

需要在内存受限或隐私要求严格、禁止存储大量历史数据的环境中训练智能体的研究人员和开发者。

主要亮点

• 克服流屏障：提供了首个能够有效从流式数据中学习的深度强化学习算法家族。
• 降低对缓冲区的依赖：减少对 PPO、SAC 和 DQN 等批量强化学习算法的依赖。
• 广泛兼容性：支持 Atari、MuJoCo、经典控制和 dm_control 等多种环境。
• 一致的性能：每个算法在不同任务中使用单一预设的超参数配置。