fangvv/VN-MADDPG

解决的问题

本项目旨在解决联网车辆 (IoCV) 环境中的频谱共享与资源分配问题。具体而言，它致力于在车辆高度移动的环境中优化车对车 (V2V) 链路的传输速率以及车对基础设施 (V2I) 链路的总容量，在这种环境下，由于信道变化迅速，集中式网络资源管理往往不可行。

运作原理

本项目实现了基于集中式训练与分散式执行 (CTDE) 架构的多代理深度确定性策略梯度 (MADDPG) 算法。

• 代理 (Agents)：每个 V2V 链路被视为一个代理。代理观察其本地状态（包括信道衰落、干扰与负载状态），并选择资源块 (RB) 与传输功率等级。
• 集中式训练 (Centralized Training)：在训练期间，每个代理的 Critic 网络会聚合所有其他代理的动作以计算 Q 值，从而使代理能够学习到更好的功率控制策略。
• 分散式执行 (Decentralized Execution)：在测试阶段，Actor 网络允许每个代理仅根据其本地观察做出决策，而无需全局信息。
• 环境 (Environment)：系统使用具有曼哈顿布局的 3GPP 城市网格模型进行模拟，模拟 V2V 与 V2I 链路的传输损耗、阴影衰落与快速衰落。

适用对象

从事无线通信、车联网 (V2X) 通信以及将多代理强化学习 (MARL) 应用于网络资源管理的研究人员与工程师。

特色亮点

• CTDE 架构：使用 MADDPG 来平衡集中式学习与分散式运作。
• 连续动作空间：处理连续的功率控制与资源块选择。
• 全面的基准测试：包含多代理 DQN (MADQN)、单代理 DDPG (SAMADDPG) 与随机策略的实现，以进行性能比较。
• 优先经验回放：实现了基于线段树的优先回放缓冲区，以提升训练效率。