fangvv/UAV-DDPG

何を解決するか

このプロジェクトは、UAV支援型モバイルエッジコンピューティング（MEC）システムにおける処理遅延を最小化する問題に対処しています。ユーザー機器（UE）とドローン（UAV）の間で計算タスクをどのように分割するかを最適化するとともに、ドローンの飛行経路（角度と速度）とユーザーのスケジューリングを同時に管理し、動的で非凸な環境に対応します。

動作方法

システムは、連続的な行動空間を扱うためのDeep Deterministic Policy Gradient（DDPG）強化学習エージェントを使用しています。エージェントは、UAVのバッテリー残量、UAVおよびユーザーの位置、残りのタスクサイズといった環境の状態を観測し、ターゲットユーザー、飛行角度、飛行距離、オフロードするタスクの割合を決定します。

安定性と収束を確保するために、以下の要素を実装しています：

• Actor-Criticアーキテクチャ：Actorネットワークが行動を決定し、Criticネットワークが行動のQ値を評価します。
• 経験リプレイ：過去の遷移を保存して、学習データの相関を解消します。
• 状態正規化：バッテリーのジュールや座標などの生の入力値を[0, 1]の範囲にスケーリングし、学習を高速化します。
• 報酬関数：エージェントは最大処理遅延の負の値に基づいて報酬を受けます。これにより、すべてのユーザーにおける最悪の遅延を最小化するよう強制されます。

対象ユーザー

無線通信、ドローンベースのエッジコンピューティング、および通信技術におけるリソース割り当てへの強化学習の応用に取り組んでいる研究者およびエンジニア。

主な特徴

• 統合最適化：ユーザーのスケジューリング、オフロード比率、UAV飛行パラメータを同時に最適化します。
• 連続行動空間：DQNなどの離散化手法よりも効率的な、連続変数を扱うDDPGを使用します。
• 包括的なベースライン：DQN、Actor-Critic、および単純なローカル/エッジオンリーのオフロード戦略を含み、性能比較が可能です。
• アブレーションスタディ：状態正規化と探索ノイズの影響を検証するための特定のコードバージョンを提供します。