mohmdelsayed/streaming-drl

해결하는 문제

이 프로젝트는 심층 강화학습(DRL)에서의 '스트림 장벽'을 해결합니다. 대부분의 심층 강화학습 알고리즘은 과거 상호작용을 저장하는 경험 리플레이 버퍼에 의존하지만, 이는 자원 제약이나 개인정보 보호가 중요한 응용 분야에서는 현실적이지 않습니다. 이전의 스트리밍 강화학습(도착하는 경험을 직접 학습하는 방식) 시도는 종종 효과적으로 학습하지 못해 무작위 정책과 비슷한 성능을 보였습니다.

작동 방식

이 프로젝트는 'Stream-X' 조리법을 구현합니다. 이는 스트리밍 심층 강화학습을 안정적이고 효과적으로 만들기 위한 기술의 세트입니다. 세 가지 핵심 구성 요소를 결합합니다:

1. 신호 정규화: 데이터 입력을 표준화합니다.
2. 표현 안정화: 신경망의 내부 표현이 일관되게 유지되도록 합니다.
3. 제어된 파라미터 업데이트: 학습 중 모델 가중치가 어떻게 조정되는지를 관리합니다.

이 조리법을 Stream-AC, Stream-RAC, Stream-Q, Stream-SARSA와 같은 기본 알고리즘에 적용함으로써, 리플레이 버퍼 없이 경험의 스트림에서 학습할 수 있습니다.

대상 사용자

메모리 제약이나 개인정보 보호 요구로 과거 데이터를 대량 저장할 수 없는 환경에서 에이전트를 훈련해야 하는 강화학습 연구자 및 개발자입니다.

주요 특징

• 스트림 장벽 극복: 스트리밍 데이터에서 효과적으로 학습할 수 있는 최초의 심층 강화학습 알고리즘 패밀리 제공.
• 버퍼 의존성 완화: PPO, SAC, DQN과 같은 배치 강화학습 알고리즘에 대한 의존도를 줄입니다.
• 광범위한 호환성: Atari, MuJoCo, Classical Control, dm_control 등 다양한 환경을 지원합니다.
• 일관된 성능: 각 알고리즘에 대해 다양한 작업에서 동일한 사전 설정된 하이퍼파라미터 구성 사용.