fangvv/VN-MADDPG

해결 과제

이 프로젝트는 커넥티드 차량(IoCV) 환경에서의 스펙트럼 공유 및 자원 할당 문제를 다룹니다. 구체적으로, 차량의 이동성이 높고 급격한 채널 변화로 인해 네트워크 자원의 중앙 집중식 관리가 비실용적인 환경에서 차량 간(V2V) 링크의 전송 속도와 차량-인프라(V2I) 링크의 총 용량을 최적화하는 것을 목표로 합니다.

작동 원리

이 프로젝트는 중앙 집중식 학습 및 분산 실행(CTDE) 프레임워크를 기반으로 하는 다중 에이전트 심층 결정론적 정책 경사(MADDPG) 알고리즘을 구현합니다.

• 에이전트: 각 V2V 링크를 하나의 에이전트로 취급합니다. 에이전트는 자신의 로컬 상태(채널 페이딩, 간섭, 페이로드 상태 등)를 관찰하고 리소스 블록(RB)과 전송 전력 레벨을 선택합니다.
• 중앙 집중식 학습: 학습 중에 각 에이전트의 Critic 네트워크는 다른 모든 에이전트의 행동을 집계하여 Q-값을 계산함으로써, 에이전트가 더 나은 전력 제어 전략을 학습할 수 있도록 합니다.
• 분산 실행: 테스트 시에는 Actor 네트워크를 통해 각 에이전트가 전역 정보 없이 자신의 로컬 관찰만을 기반으로 의사결정을 내릴 수 있습니다.
• 환경: 시스템은 맨해튼 레이아웃의 3GPP 도시 그리드 모델을 사용하여 시뮬레이션되며, V2V 및 V2I 링크 모두에 대한 경로 손실, 섀도잉 페이딩, 고속 페이딩을 시뮬레이션합니다.

대상 사용자

무선 통신, 차량 사물 통신(V2X), 그리고 네트워크 자원 관리를 위한 다중 에이전트 강화 학습(MARL) 응용 분야의 연구자 및 엔지니어.

주요 특징

• CTDE 프레임워크: MADDPG를 사용하여 중앙 집중식 학습과 분산 운영의 균형을 맞춥니다.
• 연속 행동 공간: 연속적인 전력 제어 및 리소스 블록 선택을 처리합니다.
• 포괄적인 베이스라인: 성능 비교를 위해 다중 에이전트 DQN(MADQN), 단일 에이전트 DDPG(SAMADDPG) 및 무작위 정책 구현이 포함되어 있습니다.
• 우선순위 경험 재생: 세그먼트 트리 기반의 우선순위 재생 버퍼를 구현하여 학습 효율성을 향상시킵니다.