fangvv/UAV-DDPG

解决的问题

本项目解决了UAV辅助移动边缘计算（MEC）系统中最小化处理延迟的问题。它优化了用户设备（UE）与无人机（UAV）之间的计算任务分配，同时管理无人机的飞行路径（角度和速度）以及用户调度，以应对动态且非凸的环境。

工作原理

系统使用深度确定性策略梯度（DDPG）强化学习智能体来管理连续动作空间。智能体观察环境状态——包括UAV电池电量、UAV和用户的位置、剩余任务大小——并决定目标用户、飞行角度、飞行距离以及需卸载的任务比例。

为确保稳定性和收敛性，项目实现了以下机制：

• Actor-Critic架构：Actor网络决定动作，Critic网络评估动作的Q值。
• 经验回放：存储历史转移数据，打破训练数据间的相关性。
• 状态归一化：将原始输入值（如电池焦耳数和坐标）缩放到[0, 1]范围，以加速训练。
• 奖励函数：智能体根据最大处理延迟的负值获得奖励，强制其最小化所有用户中的最坏情况延迟。

适用对象

从事无线通信、基于无人机的边缘计算，以及强化学习在电信资源分配中应用的研究人员和工程师。

主要亮点

• 联合优化：同时优化用户调度、卸载比例和UAV飞行参数。
• 连续动作空间：使用DDPG处理连续变量，而非离散化，相比DQN等基线方法更高效。
• 全面基线：包含DQN、Actor-Critic以及简单本地/边缘独占卸载策略的实现，用于性能对比。
• 消融研究：提供特定代码版本，用于测试状态归一化和探索噪声的影响。