fangvv/UAV-DDPG

해결하는 문제

이 프로젝트는 UAV 지원 모바일 엣지 컴퓨팅(MEC) 시스템에서 처리 지연을 최소화하는 문제를 해결합니다. 사용자 장비(UE)와 드론(UAV) 간의 계산 작업을 어떻게 분할할지 최적화하면서 동시에 드론의 비행 경로(각도 및 속도)와 사용자 스케줄링을 관리하여 동적이고 비볼록한 환경을 처리합니다.

작동 방식

시스템은 연속적인 행동 공간을 다루기 위해 Deep Deterministic Policy Gradient (DDPG) 강화학습 에이전트를 사용합니다. 에이전트는 UAV 배터리 수준, UAV 및 사용자 위치, 남은 작업 크기와 같은 환경 상태를 관측하고, 타겟 사용자, 비행 각도, 비행 거리, 오프로드할 작업 비율을 결정합니다.

안정성과 수렴을 보장하기 위해 다음을 구현했습니다:

• 액터-크리틱 아키텍처: 액터 네트워크가 행동을 결정하고, 크리틱 네트워크가 행동의 Q값을 평가합니다.
• 경험 재생: 과거 전이를 저장하여 학습 데이터의 상관관계를 깨뜨립니다.
• 상태 정규화: 배터리 줄루(Joules)와 좌표와 같은 원시 입력 값을 [0, 1] 범위로 스케일링하여 학습을 가속화합니다.
• 보상 함수: 에이전트는 최대 처리 지연의 음수에 기반하여 보상을 받으며, 이는 모든 사용자 중 최악의 지연을 최소화하도록 강제합니다.

대상 사용자

무선 통신, 드론 기반 엣지 컴퓨팅, 통신 분야의 자원 할당에 강화학습을 적용하는 연구자 및 엔지니어.

주요 특징

• 통합 최적화: 사용자 스케줄링, 오프로드 비율, UAV 비행 파라미터를 동시에 최적화합니다.
• 연속 행동 공간: DQN과 같은 기준 방법보다 더 효율적인 연속 변수를 다루는 DDPG를 사용합니다.
• 포괄적인 베이스라인: DQN, 액터-크리틱, 단순한 로컬/엣지 전용 오프로드 전략을 포함하여 성능 비교가 가능합니다.
• 아블레이션 스터디: 상태 정규화와 탐색 노이즈의 영향을 테스트하기 위한 특정 코드 버전을 제공합니다.