fangvv/VN-MADDPG

解決する課題

本プロジェクトは、コネクテッドカー（IoCV）環境におけるスペクトル共有とリソース割り当ての問題に対処します。具体的には、車両の移動性が高く、急激なチャネル変動のためにネットワークリソースの集中管理が非現実的である環境において、車車間（V2V）リンクの伝送レートと路車間（V2I）リンクの総容量を最適化することを目的としています。

仕組み

本プロジェクトでは、集中学習・分散実行（CTDE）フレームワークに基づくマルチエージェント深層決定論的ポリシー勾配（MADDPG）アルゴリズムを実装しています。

• エージェント: 各V2Vリンクを1つのエージェントとして扱います。エージェントは自身のローカル状態（チャネルフェージング、干渉、ペイロード状態など）を観測し、リソースブロック（RB）と送信電力レベルを選択します。
• 集中学習: 学習中、各エージェントのCriticネットワークは他のすべてのエージェントの行動を集約してQ値を計算し、エージェントがより優れた電力制御戦略を学習できるようにします。
• 分散実行: テスト時には、Actorネットワークにより、各エージェントがグローバルな情報を必要とせず、自身のローカルな観測のみに基づいて意思決定を行うことができます。
• 環境: システムは、マンハッタンレイアウトの3GPP都市グリッドモデルを使用してシミュレートされ、V2VおよびV2Iリンクの両方についてパスロス、シャドウフェージング、高速フェージングをシミュレートします。

対象読者

無線通信、車車間・路車間（V2X）通信、およびネットワークリソース管理へのマルチエージェント強化学習（MARL）の応用に携わる研究者やエンジニア。

ハイライト

• CTDEフレームワーク: MADDPGを使用して、集中学習と分散運用のバランスをとります。
• 連続アクション空間: 連続的な電力制御とリソースブロック選択を処理します。
• 包括的なベースライン: パフォーマンス比較のために、マルチエージェントDQN（MADQN）、シングルエージェントDDPG（SAMADDPG）、およびランダムポリシーの実装が含まれています。
• 優先度付き経験再生: セグメントツリーベースの優先度付きリプレイバッファを実装し、学習効率を向上させています。