数据新鲜度优先：无人机联邦学习中的PD-MADDPG算法解析

简介：一份关于数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究文档，面向移动边缘计算、联邦学习及无人机通信领域的研究者与算法工程师。资源为单篇docx论文，大小423KB，共1个文件，内容完整呈现从问题建模到算法设计的全流程。文档在联邦学习与MEC结合框架下，将无人机作为空中边缘服务器，重新定义信息年龄为端侧等待与无人机处理时间之和，并据此构建多无人机协作范式，联合优化时延、能耗、模型准确率与数据新鲜度。针对大规模状态空间，设计基于全局与局部奖励的多智能体深度强化学习算法，实现移动、通信与计算卸载的协同决策。文档还包含区域模型、约束形式化及真实数据集上的仿真验证，便于读者复现实验、学习问题建模思路与DRL算法实现细节。目前已有198人学习，适合作为相关课题研究的参考资料。

1. 为什么这篇 docx 值得拆着读：把“数据新鲜度”放进无人机联邦学习的第一约束

多个无人机在网格化区域里来回飞，接收分散用户设备的数据，协同训练一个图像分类模型，训练过程中数据只做本地处理、只上传模型参数，避免原始数据回传云端——这是联邦学习与移动边缘计算结合后最常见的愿景。但真到落地时你会发现，一块区域的数据如果迟迟没被无人机采集，模型再新也没用：训练用的数据已经“过期”了。传统联邦学习论文讨论准确率和通信开销，很少把“数据等了多久”当成一个硬指标写进优化目标，而这份研究正文恰恰把数据新鲜度，也就是信息年龄（AoI），当成和准确率、能耗并列的优化项，并把无人机移动、通信、卸载三个决策放到同一个多智能体强化学习框架里联合求解。适合谁看？适合正在做无人机辅助边缘计算、MEC+联邦学习仿真，或者想把多智能体DRL落地到资源调度场景的从业者。它的价值不止在算法名字，而在那一整套“环境怎么建模、奖励怎么分解、指标怎么算”的过程。

2. 系统建模拆解：区域网格、联邦循环与三类卸载决策的可落地形态

这篇 docx 花大量篇幅讲系统模型，很多人拿到手会直接跳到 PD-MADDPG 算法章节，这其实是个错误。它真正的工程价值在于：把物理世界里的无人机约束、通信约束、计算约束翻译成了强化学习能用的状态、动作和奖励。如果你跳过建模部分直接看算法，后面复现时连动作空间怎么定义都说不清楚。

2.1 区域模型与通信约束：网格、覆盖半径与二元决策变量

感知区域被划分成 M 个子区域，每个子区域的中心视为一个用户设备，它持续感知并产生实时数据。无人机以固定高度 H 飞行，在每个时隙结束时，通过调整飞行方向 θ 和飞行距离 d 移动到下一个子区域，d 的上限是 l_max，也就是单时隙最大飞行距离。论文用二元变量 o_t^{i,k} 表示位置：当且仅当无人机 i 在时隙 t 处于子区域 k 上空时取 1，否则取 0。同时有两个约束必须同时满足：每架无人机在同一时隙只能停留在一个子区域，且多个无人机不能停留在同一个子区域。

这个约束看起来简单，实际写仿真代码时很容易漏掉“多机冲突”这条。

def apply_motion_mask(env, uav_positions, proposed_positions): valid_actions = [] for i, prop in enumerate(proposed_positions): # 越界检查：不能飞出目标区域边界 if not (0 <= prop[0] < env.grid_m and 0 <= prop[1] < env.grid_n): valid_actions.append(False) continue # 冲突检查：一个时隙内两架无人机不能落到同一个子区域 conflict = False for j, other_pos in enumerate(proposed_positions): if i != j and prop == other_pos: conflict = True break # 同时排除与上一时隙自身位置相同的原地不动动作 if not conflict and prop == uav_positions[i]: valid_actions.append(False) else: valid_actions.append(not conflict) return valid_actions

这里我把子区域展成了二维网格坐标，论文正文是枚举集合 M，逻辑等价。越界动作在探索阶段没有概率意义，直接丢弃；两架无人机落到同一个子区域违反式(1)中的互斥约束；原地不动的动作本身是合法的，但论文把“原地徘徊”交给能耗惩罚去抑制，所以我在动作掩码里没有一刀切禁掉。注意论文的探索是“当前策略动作加上高斯随机噪声，噪声幅度 ρ 随时间衰减”，如果你的仿真没有这个动作掩码，探索阶段会出现大量非法样本，训练曲线的方差会大得没法看。

通信决策同样是二元变量 b_t^{i,k}，表示无人机 i 在时隙 t 是否与子区域 k 中的用户设备通信。这里有个容易被忽略的约束：当一个用户设备同时处于多架无人机覆盖范围内时，它至多选择一台无人机通信。翻译成代码就是在构造通信矩阵时，每一列（用户设备）的二元取值和不能大于 1。很多复现者只写了覆盖半径判断，忘了加这个约束，结果就是同一份数据被多架无人机重复采集，联邦聚合时 A_t^i 的数据量统计虚高，模型效果自然对不上论文。

2.2 联邦学习循环：下载、训练、上传、聚合的时序关系

论文的联邦学习框架走的是标准流程：云端下发最新全局模型，无人机将其作为本地初始模型，在自己覆盖范围内收集数据并执行若干轮随机梯度下降，然后把训练好的本地模型上传回云服务器，云端用联邦平均做加权聚合。这里我建议先把四个步骤拆成一张对照表，后面写训练循环时可以直接对着表逐项核对。

注意聚合权重用的是 A_t^i，即无人机 i 从其覆盖区域用户设备接收并实际用于本地训练的数据量。这个量受通信决策直接影响，如果某台无人机虽然飞到了覆盖范围但通信决策为 0，它这一轮就没有数据参与聚合，模型更新等于没做。我在复现时习惯把“通信决策 → 数据量计算 → 聚合权重”这条链路单独抽成一个函数，方便排查每一轮谁的权重为零。

本地训练停止条件用的是相对梯度范数比，不是绝对阈值。这意味着不同数据分布下，每台无人机的本地迭代次数会不一样，进而影响本地计算时延和计算能耗。这也是为什么论文在能耗模型里把 I_t^i(ϵ) 作为变量，而不是常数。

2.3 任务卸载模型：本地、U2U 和 U2B 三种方式的权重组合

每台无人机收到数据后，面临三个去向：留在本地计算、通过无人机到无人机（U2U）链路卸载给其他无人机、通过无人机到基站（U2B）链路卸载给基站。论文分别用 x_t^i、y_t^{i,j}、z_t^i 表示三种数据比例，且要求三者加权和等于 1，也就是式(4)。U2U 链路不是随时可用的，论文引入有向连接图 G_t，只有当链路指示变量 l_t^{i,j}=1 时，y_t^{i,j} 才有效。

实现这个卸载决策时，常见的做法是让 actor 网络输出三个 logits，再用 softmax 归一化，保证 x+y+z=1 自动满足。链路可达性则通过一个 mask 乘到 y 的分支上，不可达链路的概率直接被置零再重新归一化。这里有一个工程细节：论文假设无人机可以同时通过 U2U 和 U2B 链路传输数据，且 I/O 与 CPU 可并行执行，所以最终数据处理时延取三种方式的最大值，而不是相加。如果你在仿真里把三条链路的时延串行相加，总时延和 AoI 会明显偏大，和论文结果对不上。

三种卸载方式的时延构成也不一样：本地处理时延与本地迭代次数、数据量、自身计算能力相关；U2B 时延包含传输时延、基站计算时延和基站的排队时延 λ_B；U2U 时延则包含传输时延、对方无人机计算时延和对方队列时延 λ_j。队列时延这一项很容易被忽略，如果你的仿真环境里基站和无人机节点有并发任务，必须给每个计算节点加一个等待队列，否则高负载场景下 AoI 会被低估。

3. 信息年龄与能耗模型：从公式到仿真引擎的两个核心指标

这一章是全文的指标基础。优化目标里有三样东西：信息年龄 T_t、准确率 Acc_t、总能耗 E_t^i，其中信息年龄和能耗都需要你逐时隙去算。很多复现者把注意力放在算法上，结果指标计算口径不一致，最后曲线对不上，还以为是网络结构问题。

3.1 信息年龄的递推更新：空闲时间、数据量与接收时延

论文把数据的信息年龄定义为“用户设备产生数据后，直到被无人机处理完成的时间长度”，包括两部分：数据在端设备上等待的时间，以及被无人机接收并处理的时间。前者用空闲时间 τ_t^k 递推：τ_t^k = (τ_{t-1}^k + Δt) × (1 − Σ_i b_t^{i,k})，用户设备一旦与某架无人机通信，空闲时间归零，否则每个时隙累加一个时隙长度 Δt。

注意：用户设备不通信时，数据量也在持续积累。设感知速度为 φ_k，空闲时间内产生的数据量为 a_t^k = τ_t^k × φ_k。无人机 i 在时隙 t 接收到的总数据量 A_t^i 就是所有通信用户设备的数据量之和，接收时延为 A_t^i / P_i，其中 P_i 是无人机的数据接收能力。我在仿真里把“空闲时间更新”和“数据量计算”拆成了两个独立函数，前者依赖上一时隙的通信决策，后者依赖空闲时间和感知速度。如果你把这两步合在一起，容易出现数据量用旧时隙空闲时间、而通信决策用新时隙的错位问题。

为了把 AoI 写进训练循环，我给一段示意代码：

def update_aoi(env, comm_decision, proc_delay, dt): # comm_decision: (N, M) 的 0/1 矩阵，表示无人机与用户设备的通信关系 # proc_delay: (N,) 各无人机本轮数据处理的完成时延 idle_time = env.idle_time # 每台用户设备的空闲时间 aoi_zone = env.aoi_zone # 每个子区域当前的数据信息年龄 for k in range(env.num_zones): connected = int(np.any(comm_decision[:, k] > 0)) # 有通信则空闲时间归零，否则跳过 dt idle_time[k] = (idle_time[k] + dt) * (1 - connected) aoi_zone[k] = idle_time[k] for i in range(env.num_uavs): served = np.where(comm_decision[i, :] > 0)[0] for k in served: # 被无人机处理后，AoI 还要累加处理时延 aoi_zone[k] += proc_delay[i] return idle_time, float(np.sum(aoi_zone))

这里有两个容易弄错的地方。第一，idle_time 的更新用的是“上一时隙的通信决策”，如果你在仿真循环里先算新决策再更新 idle_time，会让设备空闲时间少算一个时隙，AoI 整体偏低，优化方向会偏。第二，proc_delay 不是单一数值，它由卸载决策决定：本地处理的无人机算本地时延，走 U2U 的算对方时延，走 U2B 的算基站时延，最后取三种方式的最大值作为该无人机的处理时延。我习惯在卸载决策模块里就把它算好，再传给 AoI 更新函数。

3.2 能耗模型：移动、接收、计算、传输四类能耗不是平权的

能耗模型拆成四项，每一项背后都有明确物理意义。我整理成表格方便对照实现：

复现时最大的坑在计算能耗：E_cmp 里乘了 I_t^i(ϵ)，这是本地模型训练的迭代次数，而迭代次数由梯度下降的停止条件决定，不是固定值。如果你在仿真里把本地迭代次数写死为常数，E_cmp 就会失去和“数据难度”的关联，模型准确率变化时计算能耗却不变，整个奖励信号就扭曲了。另一个坑在接收能耗：U2U 卸载不仅发送方要花传输能耗，接收方也要花接收能耗，也就是公式里的 A_{i,rev}^t 那一项。只算发送不算接收，能耗会少一大截，μ2 对能耗的约束力就不对。

3.3 优化目标 P1 的工程转化：三个指标怎么放在同一目标里比大小

论文的优化目标是最大化长期平均收益：max (1/T) Σ [-T_t + μ1 × Acc_t − μ2 × Σ E_t^i]，同时满足式(1)到式(4)。这其实是在做三件事：最小化区域总 AoI，最大化全局模型准确率，最小化所有无人机的总能耗。权重系数 μ1=1000、μ2=0.1 是论文给出的实验配置，但它不是随便填的。AoI 是“时隙累积”量，动辄几千上万；准确率是 0 到 1 的小数；能耗是每时隙产生的物理量，量级可能在几十到几百。用 μ1=1000 去放大准确率，用 μ2=0.1 去压缩能耗，本质上是在做指标量级对齐，而不是简单的喜好加权。

我在自己仿真里通常会先跑一轮随机策略，把 T_t、Acc_t、E_t 的量级各统计一遍，再把 μ1、μ2 设成让三项对奖励贡献大致同等的数值。论文给的 1000 和 0.1 是个不错的起点，但换了数据集、换了区域规模后量级会变，直接搬运不一定稳。这点后面避坑章节会专门展开。

4. PD-MADDPG 算法实现：双 Critic、可分解奖励与优先级经验回放怎么配合

系统建模搞定后，算法部分其实是在回答一个问题：这个含有离散变量和连续变量的组合优化问题，怎么用深度强化学习求解。论文没有用 MADDPG 直接硬上，而是在它基础上做了两个改动：奖励分解成全局和局部两份，再叠加优先级经验回放。这两处改动都有明确的工程动机。

4.1 MDP 三元组与连续离散混合动作的包装

问题先转成马尔可夫决策过程，三元组 <S, A, R>。无人机的状态 s_i 包括：当前位置 k_t^i、所有用户设备的空闲时间向量 τ_t、以及自己到其他无人机的链路状态 l_t^i。动作 a_i 包括：飞行方向 θ、飞行距离 d、通信决策 b_i、本地处理比例 x、U2U 卸载比例 y、U2B 卸载比例 z。注意 b 是离散的 0/1 向量，其余全是连续值。

这是标准的连续离散混合动作空间。直接用确定性策略梯度输出混合动作，一个常见做法是让 actor 网络对不同类型动作分头输出：方向角和距离走连续头，通信决策走 sigmoid 再二值化，三个卸载比例走 softmax 保证和为 1。

class UAVActor(nn.Module): def __init__(self, obs_dim, num_zones, num_uavs): super().__init__() self.fc1 = nn.Linear(obs_dim, 256) self.fc2 = nn.Linear(256, 256) # 动作头部分开设计，避免离散和连续互相干扰 self.theta_head = nn.Linear(256, 1) self.dist_head = nn.Linear(256, 1) self.comm_head = nn.Linear(256, num_zones) self.offload_head = nn.Linear(256, 3) # 本地 / U2U / U2B 三条分支 def forward(self, obs): x = F.relu(self.fc1(obs)) x = F.relu(self.fc2(x)) theta = torch.sigmoid(self.theta_head(x)) * 2 * 3.14159 # 方向角映射到 [0, 2π) dist = torch.sigmoid(self.dist_head(x)) * self.max_dist # 距离映射到 [0, l_max) comm = torch.sigmoid(self.comm_head(x)) # 通信概率 offload = F.softmax(self.offload_head(x), dim=-1) # 卸载比例归一化 return theta, dist, comm, offload

这里每个头的设计都有对应约束：θ 用 sigmoid 再乘 2π 是保证输出范围合法；dist 用 sigmoid 再乘最大飞行距离，避免出现超过 l_max 的非法动作；offload 用 softmax 是为了让 x+y+z=1 自动成立，不需要在环境里再做一次归一化。通信决策 b 在训练时用 sigmoid 输出概率，仿真环境里做二值化采样，这样可以保留梯度信息；如果直接输出 0/1 整数，梯度传不回去，actor 网络就没法更新了。

4.2 双 Critic 与可分解奖励：全局和局部奖励如何各自引导策略

论文把奖励拆成全局和局部两份。全局奖励 r_g = −T_t + μ1 × Acc_t，衡量区域数据新鲜度和模型准确率；局部奖励 r_i = −E_t^i，衡量单台无人机能耗。优化目标变成最大化 r_g + μ2 × Σ r_i。对应地，算法引入两个 critic 网络：全局 critic Q_ψ^g 接收所有无人机的状态和动作，负责指导全局优化；局部 critic Q_φ^l 只接收无人机 i 自己的状态和动作，负责指导能耗最小化。

这个分解的工程价值在于：单一整体奖励在多智能体场景下容易让学习在全局目标和局部目标之间来回震荡。比如某架无人机为了减少整体 AoI 拼命往外飞，能耗大增，如果只有整体奖励，它不知道自己应该为高能耗负责多少。有了局部 critic，能耗信号可以直接回传到对应智能体的 actor，梯度更新更精准。用公式表达的话，actor 的策略梯度就是全局 critic 路径和局部 critic 路径的梯度之和，这也是 DE-MADDPG 名字里 Decomposed 的由来。

实现时我一般这样组织网络更新顺序：先用全局 batch 更新全局 critic，再用局部 batch 更新各个局部 critic，最后用两个 critic 的梯度之和更新每个 actor。目标网络参数则用更新速率 ξ 做滑动平均，也就是 ξ 取 0.01，每次把 target 参数向在线参数拉近 1%。

4.3 优先级经验回放 PER：用 TD 误差决定样本的“重要性”

优先级经验回放的核心思想是：不是所有历史样本都值得同样的训练权重。论文用样本的 TD 误差作为优先级，误差越大说明当前网络对这个样本的估计越不准，用它训练能更快提升性能。这个机制对非独立同分布数据尤其重要，因为不同区域的样本价值天然不一样，均匀采样会浪费算力在大量“已经会了”的样本上。

实际操作时，每条样本存入缓存时记录一个优先级，采样时按优先级大小做加权随机抽取，更新完网络后用最新的 TD 误差重新计算该样本的优先级并回写。缓存满后新样本覆盖旧样本，覆盖策略上可以保留一部分高优先级历史样本，避免重要经验被冲掉。论文里 PER 缓冲区大小写的是 64，我理解这更像训练 batch size，实际做仿真时建议把缓存容量放在几千条的量级，否则学习初期样本多样性严重不足，容易过拟合到最近几十步的经验上。

算法流程上，论文把过程分成了三个阶段：初始化阶段为每台无人机创建局部 actor/critic 和目标网络，创建全局 critic 与目标网络，初始化 PER；探索阶段无人机按当前策略加衰减高斯噪声生成动作，并处理边界和位置冲突约束；利用阶段执行动作获得新状态和奖励，存入 PER，再抽取样本分别更新全局 critic、局部 critic 和 actor。这个“先在线跑一整个时隙，再离线更新网络”的结构，和常见的 centralized training with decentralized execution 是一致的，区别只在奖励被拆成了两层。

5. 复现避坑：量级失衡、非独立同分布与动作空间里的三个翻车现场

论文正文里给的参数是 MNIST、Fashion-MNIST、CIFAR-10 三个数据集，无人机数量 N=3，覆盖半径 R_max=1m，飞行高度 H=0.1m，最大飞行距离 l_max=10m，通信带宽 W=100MHz，全局迭代回合 T_max=400，本地最大训练回合 N_max=500，学习率 η=0.01，折扣因子 γ=0.9，更新速率 ξ=0.01。复现时你按这些参数能跑通，但结果能不能收敛，往往取决于几个容易翻车的细节。

5.1 现象：非独立同分布程度 D 一调大，准确率直接崩掉

复现论文时，我一开始直接按 D=2 设置数据分布，结果 MNIST 上的准确率只有 0.35 左右，比论文表格里的 0.533 差了一大截。后来发现 D 是每个子区域设备数据包含的类别标签数，D=2 意味着每个设备只有两类标签的数据，本地模型训练时会严重偏向这两个类别，聚合时模型发散，准确率下降且收敛变慢。

原因：非独立同分布程度越大，本地模型之间的差异越大，联邦平均聚合出来的全局模型质量越差。这本质上是联邦学习里经典的非独立同分布问题，论文用 D 这个参数把它显式建模进了仿真环境。

解决：如果你复现时发现自己跑出的曲线和论文对不上，先检查 D 的赋值逻辑。我建议从 D=0 完全均匀分布开始，确认训练流程通顺后再逐步调大 D，每一步对比准确率和收敛回合数。另外 CIFAR-10 对非独立同分布更敏感，复现时优先用 MNIST 和 Fashion-MNIST 验证算法正确性，再上难度高的数据集。

5.2 现象：μ1=1000、μ2=0.1 直接搬过来，能耗项完全不起作用

把论文的 μ1=1000、μ2=0.1 搬到自己的仿真里，发现训练初期奖励值高得离谱，但无人机几乎不做任何移动，能耗低但数据新鲜度极差。后来把各指标打出来看才发现，AoI 的量级是几千上万，准确率是 0 到 1 的小数，能耗是几十的数值。奖励函数里 T_t 的负值动辄上千，μ1×Acc_t 撑死一千，μ2×ΣE_t 只有个位数，三项加在一起时能耗项几乎被淹没。

原因：奖励合成的量级没对齐。μ1 和 μ2 的取值本质上是在补偿三个指标之间的量级差异，直接搬运论文参数到不同的环境配置下，量级关系变了，优化重心就偏了。

解决：我先用随机策略跑几十轮，统计 T_t、Acc_t、E_t 的均值量级，然后把三个子项分别做归一化，再在归一化后的目标上加权重搜索。具体做法是：T_t 除以一个参考值 T_ref，E_t 除以 E_ref，Acc_t 保持在 0 到 1，然后再设 μ1、μ2。这样权重系数变化对训练曲线的影响才是可解释的。从那以后我每次新开环境第一件事就是做“指标量级检查”，不再无脑沿用论文的超参。

5.3 现象：PER 刚开始训练就出现剧烈震荡，loss 上下跳但奖励不涨

优先级经验回放最大的坑在于“早期高 TD 误差样本被反复采样”。训练前几百步，网络对状态的估计完全不准，TD 误差普遍很大，高优先级样本会集中在少数几个离群状态上，导致 batch 多样性不足，loss 震荡。我一开始是在缓存刚积累了 64 条样本时就开训练，结果前 100 个回合完全没收敛。

原因：论文正文里 PER 缓冲区大小写的 64，更像是指训练 batch size；如果整个缓存只有 64 条，高优先级的旧样本很快被覆盖，网络在短时间窗口内反复看同样的经验，样本多样性不够，模型学不到通用策略。

解决：我的做法是先积累一个 warm-up 阶段，缓冲区至少存够 2000 到 5000 条样本再开启训练；同时把优先级求幂指数设置在 0.6 左右，避免少数极端样本主导采样。另一处要注意的是：探索噪声幅度 ρ 的衰减速度要与训练启动时机匹配。如果你 warm-up 期间噪声已经衰减到很低，智能体探索范围受限，后面学到的策略容易陷入局部最优。我一般把 ρ 设成线性衰减，训练前期 300 个回合内从 1.0 降到 0.1，然后再开一个小幅常数项保证长期探索。

6. 拿到 docx 后的第一件事：先做量级检查与随机基线，再谈网络结构

这份 docx 和普通论文最大的区别在于，把数据新鲜度和联邦学习、多无人机协作放在一个优化框架里，并且给出了完整的系统模型和算法设计。但拿它做复现，我的经验是不要急着搭 PD-MADDPG，先做两件事：量级检查和随机基线对齐。

先说你自己的环境，无论你是改写成车联网、机器人巡检还是固定翼无人机编队，第一步把五个基本要素列出来：状态维度里有哪些连续值、哪些离散值；动作空间的范围是什么，比如飞行距离上限、通信链路数目；奖励项由哪几部分组成，分量覆盖数据新鲜度、任务完成度还是能耗；数据分布用什么参数控制；优化目标有没有做量纲归一化。这五列对齐了，再进入代码层面。

第二步是跑一个随机策略基线，对应论文里的 RANDOM 算法。不训练任何网络，每时隙随机生成方向角、飞行距离、通信和卸载动作，记录 50 轮以上的平均总奖励、平均 AoI、平均能耗。这个基线的意义有两个：一是验证你的环境实现是否自洽，二是给后续训练结果一个参照系。比如我在自己的场景里发现随机策略的平均 AoI 在 800 左右，那么训练算法至少要压到 500 以下才算有真实提升，否则优化成果说不清楚。

第三步才是把论文的 PD-MADDPG 拆进你的训练循环。核心结构是三段式：actor 网络输出动作，全局 critic 和局部 critic 分别评估全局和局部价值，PER 缓存按 TD 误差加权采样。如果你觉得自己场景的状态空间比论文复杂，可以先跑一个简化版，比如固定无人机轨迹，只优化通信和卸载决策，确认双 critic 和奖励分解逻辑没问题之后，再把移动决策加回来。

第四步是验证方法。论文用了三个数据集和四种对比算法，你不需要全做，但至少保留一组：PD-MADDPG 对 P-MADDPG 对 RANDOM。P-MADDPG 的存在只有价值：它证明了优先级回放单独带来的提升；RANDOM 则定义了最底线。两组对比加一条收敛曲线，足以说明你的复现是否到达了论文效果。

最后是迁移应用的进阶技巧。这份资源最值得搬走的部分不是 PD-MADDPG 这个名字，而是“奖励分解 + 双 critic”这个设计模式。它广泛适用：任何多智能体场景里如果同时存在一个全局目标和若干个局部目标，比如车队总时延最小加单车能耗最小，仓库机器人总吞吐最大加单机避碰损失最小，都可以用这个思路把奖励拆开，避免单一奖励信号让学习过程左右摇摆。我在自己项目里已经复用这个模式两次，效果都比直接搬 MADDPG 要稳。

另外提一个很容易被忽略的点：论文没有专门处理联邦学习里的灾难性遗忘问题。如果你把训练轮次拉长，本地模型在连续几轮都接收同一种分布的数据后，可能会覆盖掉之前学到的类别特征，这是联邦学习场景里的常见隐患。我的应对习惯是每过若干全局轮次，随机让一部分无人机不参与聚合，保持全局模型的类别记忆多样性。这里不展开，但值得你留意。

从那以后，我每次开始一个多智能体联邦学习仿真，都会强制自己先走过一遍量级检查、随机基线、简化版验证，再谈“换上更漂亮的网络结构”。这套流程救过我很多次，尤其是当训练曲线不收敛时，绝大部分问题出在指标量级和动作空间定义上，而不是网络本身。希望帮到你。

本文还有配套的精品资源，点击获取