简介：一套基于联邦深度强化学习的跨域虚拟网络功能并行部署优化开源框架，完整复现了论文Parallel_Placement_of_Virtualized_Network_Functi的代码实现，面向网络研究人员、算法工程师以及对智能网络优化感兴趣的开发者，可用来学习、验证和改进联邦强化学习在VNF部署中的实际效果。压缩包共45个文件，以Python源代码为核心（20个py），搭配9个xml配置、7个Markdown文档、3个txt说明、2个gitignore以及其他脚本和许可证文件，整体仅73KB，轻量而完整。目前已有59人学习下载。框架提供了核心训练脚本pvfp_fed_dqn.py、环境检测脚本、实验与测试模块，以及安装说明、项目总结、快速开始指南等多份文档，便于快速搭建环境并开展对比实验；既有助于深入理解论文的联邦学习机制与深度强化学习决策流程，也适合在此基础上扩展新的部署策略或评估指标，是该交叉领域值得参考的开源资源。
1. 联邦深度强化学习解决跨域VNF并行部署：这个框架到底在优化什么
管理域之间互不信任，又想把虚拟网络功能（VNF）的部署决策做得像全局最优那样协调，这是跨域 NFV 里最矛盾的需求。联邦深度强化学习把 DR L 智能体留在每个域本地，让它单独感知节点资源和请求队列，做出实例级并行部署优化；只有模型参数送去联邦服务器做平均聚合，域内拓扑和流量数据始终不离开本域。这样跨域协同不再依赖收集全局状态，项目也完整复现了 Parallel Placement of Virtualized Network Functions 论文的实验管线。这篇笔记面向想复现论文、或打算把这套开源框架用于自有网络的工程师：先讲清楚核心设计，再给可照抄的配置和训练主循环，最后列出跑实验时容易翻车的几个细节。
2. 拆解论文核心：并行部署为何卡在跨域，联邦DRL又为何能绕开全局状态
2.1 VNF并行部署问题的规模：为什么整数规划会在跨域场景失灵
NFV 环境里，VNF 是防火墙、负载均衡、NAT 这类以软件形态跑在通用服务器上的网络功能。所谓并行部署，指的是同一个 VNF 根据流量压力复制出多个实例，把负载分摊到不同物理节点上；也可以理解为一个服务功能链（SFC）里多个 VNF 在允许的范围内同时放到不同节点，缩短端到端处理路径。
这个优化问题的形式化描述是：给定各域物理节点容量、链路带宽与传播延迟，以及动态到达的 VNF 请求链，选择每个实例所在节点，使得成功部署率最高、端到端延迟和资源碎片最小。用整数规划（ILP）在单个域里解决几十个节点还能接受；一旦拓扑跨多个管理域，节点数量上千、实例上百，ILP 重建时间按分钟甚至小时起算。启发式虽然快，但对动态流量适应性差，请求到达曲线一变，贪婪策略很容易把热点节点打爆。
于是论文这类工作把部署决策建模为强化学习问题：状态是节点剩余资源、链路负载和当前请求链；动作是各实例的目标节点选择；奖励是延迟与资源成本的加权组合。不过一旦把域间协作因素加进来，集中式 DRL 会遇到两个现实障碍——状态空间大到难以收敛，以及各域根本不愿把拓扑与流量信息汇总到同一份全局状态。这两点共同把方案推向联邦深度强化学习。
2.2 跨域的两种含义：前端跨域、特征跨域与NFV管理域跨域
这里必须把“跨域”这个词校清楚。前端和后端经常谈的跨域是浏览器同源策略限制，跨域多头注意力模块里的跨域则是图像特征之间的域自适应融合，跟本框架没有关系。本文里的跨域，指网络功能虚拟化管控体系中的管理域边界，常见于运营商多区域机房、SDN 多控制器协作或网络切片场景。
SRv6 跨域等网络层方案解决的是怎么把业务链穿透多个路由域；联邦深度强化学习处理的是更高一层的资源编排问题——跨越管理域边界放置 VNF 实例。两者定位不同：一个打通转发路径，一个决定实例跑在哪台物理设备上。这个区别很重要，因为复现时域间链路通常用虚拟一条 inter-domain link 表示，加上带宽和延迟限制，而不是真的去跑 SRv6 隧道。
明白这一点再看联邦方案，核心价值就清楚了。它没有尝试建立跨域全局状态表，全局只存在于模型参数空间，每个域保留自己的资源状态与流量统计，共享的只是策略网络和价值网络权重。各域独立训练，权重平均后下发，数据不出域，策略却逐步逼近全局协同效果。
2.3 联邦DRL的训练范式：本地PPO+联邦平均如何代替集中式全局智能体
训练范式可以概括成三步循环。第一步，每个域用同步到本地的全局策略参数，对本地网络环境采样一批轨迹；第二步，各域在本地做若干轮策略梯度更新（通常用 PPO，因为部署动作是离散动作空间，PPO 的 clip 机制更容易稳住更新幅度）；第三步，联邦服务器收集参与轮的各域策略权重，按采样量加权平均，得到新一轮全局策略，再下发。
这个范式对应 FedAvg，只是把监督学习里的模型平均换成了强化学习里的策略与价值网络平均。注意，平均参数在监督分类里很管用，在 RL 场景里却可能因为各域奖励尺度不同引发策略震荡。常见做法是给奖励分量做域内归一化，或者把奖励拆成两部分：一部分衡量本地资源效率，一部分衡量跨域链路满足度，后者与全局模型强相关。
还有一个隐含前提：各域网络结构必须相同，状态向量与动作数量一致。如果节点数差异大，输入维度不齐，参数直接在平均值处崩掉。后面第 4、5 章会分别讲参数怎么定、这个坑具体长什么样。集中式 DRL 在单域里确实能比联邦版本多几个百分点，但在跨域隐私约束下集中路线直接被否掉——联邦方案的价值不是刷高数值，而是让原本无法协同的场景第一次有了可用的协同手段。
3. 把复现包跑起来：跨域拓扑定义、联邦训练主循环与部署动作生成
3.1 环境准备与复现包目录结构
这是个论文复现包，不是论文精读笔记。解压后的目录一般遵循实验代码的经典三段式：configs 放拓扑 YAML、VNF 类型定义与超参数；src/agent 放 PPO 与联邦聚合逻辑；src/env 放 NFV 环境，包括节点、链路、请求生成器；experiments/results 输出训练日志和评估 CSV。
依赖方面，PyTorch 2.x 稳定版、NumPy、PyYAML 和 NetworkX 是主体，gym 用于封装环境。一个高频出现的坑是 gym 版本差异：0.26 之后 reset 接口返回的不再是裸观测，而是 (obs, info) 元组。复现包按 0.25 写的话，升级 gym 直接崩。我的建议是先按 requirements.txt 安装，然后固定 NumPy 低于 2.0，因为老版 gym 与 NumPy 2.x 存在兼容问题。
首次跑通千万不要直接上完整拓扑。先把域数减到 2、每域节点数减半，把训练循环跑 100 轮，确认联邦聚合路径没有报错，再放大到论文标称规模。这种缩小冒烟测试能省掉大量排错时间，尤其是联邦学习这类多进程交互的代码，越早验证主干越踏实。
3.2 定义一张四域拓扑：YAML配置里的节点、链路与边界网关
复现包通常用 YAML 作为配置入口，便于做多次跨域拓扑消融实验。下面是一张精简的四域拓扑，每域 4 个节点，再抽出边界节点组成三条域间链路：
federation: rounds: 200 # 联邦通信轮次 client_ratio: 0.75 # 每轮抽 75% 的域参与更新 local_steps: 256 # 每轮每域采样条数 gamma: 0.99 # 收益折扣 domains: - id: 0 nodes: - {id: 0, cpu: 32, mem: 64, border: true} # 边界节点，接域间链路 - {id: 1, cpu: 64, mem: 128} - {id: 2, cpu: 64, mem: 128} - {id: 3, cpu: 32, mem: 64, border: true} links: - {src: 0, dst: 1, bw: 10, delay: 2} - {src: 1, dst: 2, bw: 10, delay: 2} - {src: 2, dst: 3, bw: 10, delay: 2} # 域 1、域 2、域 3 内部结构与域 0 相同，仅 id 不同，此处省略重复定义 inter_domain: - {dom0: 0, node0: 3, dom1: 1, node1: 0, bw: 5, delay: 8} - {dom0: 1, node0: 3, dom1: 2, node1: 0, bw: 5, delay: 8} - {dom0: 2, node0: 3, dom1: 3, node1: 0, bw: 5, delay: 8}cpu 和 mem 代表物理节点容量，border: true 标记域间网关节点。链路 delay 单位通常取毫秒，bw 按实验设定。经验上先把带宽调小，有利于凸显联邦策略对链路约束的学习效果；带宽过大时，智能体发现怎么放都行，策略就学不出跨域差异。
inter_domain 是“跨域”在实验脚本里的具体落点：域间延迟比域内高一个数量级，训练曲线很快会体现出智能体优先把串行链上的关键实例放进同一个域内，减少跨域绕行。这是验证并行部署是否生效的一个直观指标。
3.3 联邦训练主循环：本地PPO更新与FedAvg聚合
下面这份主循环写法对应复现包的核心路径，保留关键步骤和中文注释：
import copy import numpy as np import torch def ppo_local_update(env, global_policy, global_value, cfg): """域内环境采集轨迹并做若干 epoch PPO 更新，返回本地参数与样本量""" policy = copy.deepcopy(global_policy) # 从全局参数开始 value = copy.deepcopy(global_value) opt_p = torch.optim.Adam(policy.parameters(), lr=cfg["lr"]) opt_v = torch.optim.Adam(value.parameters(), lr=cfg["lr"]) # 第一步：用当前策略采样一条轨迹段 obs_list, act_list, rew_list, old_logp = [], [], [], [] obs, info = env.reset() for step in range(cfg["local_steps"]): mask = env.valid_action_mask() # 过滤掉资源不足的节点 dist = policy(obs, mask) # 自定义分布层，屏蔽非法动作 act = dist.sample() old_logp.append(dist.log_prob(act)) obs, reward, done, info = env.step(act) # reward 由延迟与碎片度合成 obs_list.append(obs) act_list.append(act) rew_list.append(reward) if done: obs, info = env.reset() # 第二步：GAE 优势估计，代码略，保持与源码一致 adv = compute_gae(rew_list, value, obs_list, cfg["gamma"]) # 第三步：若干 epoch 的 clip 更新 for _ in range(cfg["ppo_epochs"]): ratio = torch.exp(policy.log_prob(torch.stack(act_list)) - torch.cat(old_logp).detach()) clipped = torch.clamp(ratio, 1 - cfg["clip"], 1 + cfg["clip"]) policy_loss = -torch.min(ratio * adv, clipped * adv).mean() value_loss = (value(torch.stack(obs_list)).squeeze(-1) - adv).pow(2).mean() opt_p.zero_grad() policy_loss.backward() opt_p.step() opt_v.zero_grad() value_loss.backward() opt_v.step() return policy.state_dict(), value.state_dict(), len(rew_list) def fed_avg(local_params_list, sample_counts): """FedAvg：按每域样本数加权，而非简单平均""" total = sum(sample_counts) avg = {} for name in local_params_list[0].keys(): layer_avg = torch.zeros_like(local_params_list[0][name]) for params, cnt in zip(local_params_list, sample_counts): layer_avg = layer_avg + params[name] * (cnt / total) avg[name] = layer_avg return avg def train_federated_drl(all_envs, policy, value, cfg): for round_id in range(cfg["rounds"]): clients = np.random.choice( len(all_envs), int(len(all_envs) * cfg["client_ratio"]), replace=False, ) local_policies, local_values, counts = [], [], [] for did in clients: p, v, n = ppo_local_update(all_envs[did], policy, value, cfg) local_policies.append(p) local_values.append(v) counts.append(n) policy.load_state_dict(fed_avg(local_policies, counts)) value.load_state_dict(fed_avg(local_values, counts)) # 下一轮所有域拿着新全局参数继续采样训练 if round_id % 10 == 0: torch.save(policy.state_dict(), f"checkpoints/global_r{round_id}.pt")逻辑说明：ppo_local_update 第一阶段用当前全局策略采样固定长度的轨迹，valid_action_mask 是关键——目标节点 CPU 或内存不足时动作必须屏蔽。第三阶段 clip 损失对旧 logp 做了 detach，避免梯度穿过旧分布。fed_avg 按样本量加权，各域流量负载不均时比简单平均更合理。训练循环每 10 轮存一次 checkpoint，这是给实验对比留的后悔药：遇到聚合震荡还能回滚到几轮前的全局参数。
参数说明：gamma 0.99 适合长任务，如果一条 SFC 链从接入到处理完总共只有十几步，gamma 降到 0.95 效果更好；clip 0.2 是 PPO 默认，发现各域策略差异过大时可以降到 0.1 抑制更新幅度；local_steps 256 是比较低的起点，样本量不足时联邦平均很不稳，应提高到 512 以上。
3.4 部署动作生成与评估脚本
训练结束后，推理阶段不需要联邦服务器。每个域加载全局策略，输入当前观测，直接输出各 VNF 实例的目标节点。并行部署在动作空间里的具体表现为：对负载系数高的 VNF，智能体同时放置 2~4 个实例，每个实例是独立动作子项，掩码保证实例不落在过载节点。
def evaluate_federation(all_envs, policy, episodes=30): ok, delay_sum = 0, 0.0 for env in all_envs: for _ in range(episodes): obs, info = env.reset() done = False while not done: mask = env.valid_action_mask() act = policy.select_action(obs, mask) # 推理时不采样，取 argmax obs, reward, done, info = env.step(act) if info["success"]: ok += 1 delay_sum += info["e2e_delay"] success_rate = ok / (len(all_envs) * episodes) avg_delay = delay_sum / max(ok, 1) return success_rate, avg_delayselect_action 取 argmax 而不是采样，因为训练完成后要的是确定性策略。先看 success_rate，再看 avg_delay；success_rate 接近 1 时延迟才有比较意义。这套评估脚本可以直接拿来做第 6 章的对比验证。另外建议评估时顺手记录 resource_fragment，它能指征策略有没有为后续请求预留资源。
4. 影响联邦并行部署效果的4个关键参数：从client_ratio到奖励系数
4.1 client_ratio：每轮参与联邦聚合的域比例
联邦平均不等于每个域每轮都参与。client_ratio 设为 1.0 时通信开销大，流量变化慢的域每轮重复上传权重，边际贡献低；设得太低，比如 0.25，全局策略更新节奏太慢，强化学习本来就样本效率不高，再砍掉一部分更新频率只会更差。
跑类似联邦 DRL 项目的经验是 0.6~0.8 比较稳。注意参与域是每轮重新随机抽取，长周期里每个域都能平等参与。如果某些域请求量明显更大，应当在 fed_avg 时按样本数加权，这正是第 3 章代码里 counts 参数存在的意义。
集群部署时还要考虑通信架构：复现包单机训练时联邦服务器和训练器在同一个进程里，client_ratio 退化成纯粹的超参数；上了多机就要把每轮拉起的并发连接数压在带宽预算内，别让聚合流量挤占 VNF 业务流量。复现实验还建议固定随机种子，否则联邦平均结果每次都不一样，很难定位是“没调好”还是“方差大”。
4.2 奖励函数里的延迟系数与资源碎片惩罚
奖励设计决定了并行部署优化出来的策略长什么样。常见形式是：
reward = - (alpha * normalize(delay) + beta * fragment_penalty) - violation_penaltyalpha 是对延迟的敏感度。跨域带宽窄、延迟高时 alpha 要相对大，逼智能体避免跨域绕行；但 alpha 过大，智能体会把所有 VNF 都塞进同一个域内，全局负载失衡，下一批请求一到就撞资源墙。我的做法是先在固定策略下量一下平均延迟的量级，把 alpha 设成约等于平均延迟倒数的量级，保证正常动作产生的延迟惩罚在 1 附近。
fragment_penalty 用部署后节点 CPU 或内存碎片率。忽略它会出现反直觉结果：训练 loss 一直降，但后续请求越多成功率越往下掉。因为智能体只学会把任务堆到当前空闲节点，没为后续到达预留连续资源。经验阈值是碎片率低于 0.25 时给少量正奖励，超过 0.6 时给大惩罚，让策略学会在多个节点间摊开负载。跨域场景还要注意各域流量量级差异，奖励分量在进 buffer 前先做域内归一化，否则联邦平均会被大流量域的奖励尺度主导。
4.3 local_steps与通信轮次的配比
这一对参数控制联邦训练的效率和稳定性。local_steps 决定每轮每域收集多少轨迹再聚合，rounds 决定全局更新多少次。直觉上两样都大更好，但互相制约：本地步数太大，策略会朝本域局部最优走远，联邦平均后剧烈震荡；步数太小则全局策略更新太慢。
常见配比是 local_steps 在 256~1024 之间，rounds 由收敛曲线决定。把每轮联邦聚合后的全局奖励均值画出来，平台期出现就可以停。这里最容易踩的坑是 local_steps 反直觉地影响跨域效果：步子太长，各域学出本地定式，联邦平均后的策略可能同时带上多个域的坏习惯。还可以按域请求率分配采样长度，请求率高的域给更长采样，提升整体样本利用效率。
4.4 max_parallel：并行实例数上限和节点热度惩罚
并行部署优化里，实例数不能想放多少放多少。max_parallel 限制一个 VNF 最多拆成几个实例。设为 1 等于关掉并行能力；设太大，动作空间爆炸，训练时间非线性上涨。合理的起点按 VNF 计算密集度区分：NAT 这类有状态功能拆多了会有状态同步开销，max_parallel 给 2 足够；防火墙、DPI 这类无状态并行可以设到 4。
除了上限，还要在奖励里加节点热度惩罚——统计一段时间内同一节点被连续选中放置实例的次数。没有热度惩罚时，并行实例会反复选“看起来”最空的节点，造成局部热点。这个惩罚建议做软约束：热度超过阈值后线性增加惩罚，而不是一次性打负，让智能体自己权衡。
5. 复现踩坑排查：联邦聚合、动作屏蔽与结果对不上号的常见翻车点
5.1 现象：联邦聚合报shape mismatch或推理时直接崩溃
训练到第 2、3 轮，fed_avg 检测到各域 state_dict 里参数形状不一致，最常见的是输入层。原因很直接：各域节点数不同，状态向量维度不同，输入层矩阵尺寸自然对不上。跨域联邦要求各域策略网络结构一致，节点数差异必须在上层消化掉。
解决：不要直接把不同维度的观测喂进同一个输入层。先做标准化状态编码，把节点资源占用率归一化到固定长度向量，超出部分截断、不足部分补零。更省事的做法是统一实验拓扑，每个域都用同样节点数，只在资源量和链路延迟上做差异，网络结构天然一致。
5.2 现象：PPO的clip损失在下降，但成功部署率不涨
损失降低是一个迷惑信号，它说明策略确实在更新，但更新的方向没有对应到业务目标。原因通常是奖励塑造把主要信号给错了：资源成本占大头而违反约束的惩罚太轻，策略学会牺牲成功率去换低资源消耗。
解决：检查各奖励分量的数量级。违反资源硬约束的惩罚至少要设成正常奖励的 10 倍以上，再把成功部署作为事件级 bonus 单独加回。另一个连带检查点是 valid_action_mask 是否真的生效，如果动作屏蔽遗失，策略输出了非法节点，环境只能用负奖励兜底，训练信号会被带偏。我遇到过掩码数组忘记转 bool 导致的“时好时坏”，排查特别花时间。
5.3 现象：单域训练涨势良好，联邦聚合后下一轮全部回退
聚合后的全局策略在每一个域上都不如聚合前的本地策略，这是联邦 DRL 最典型的翻车。原因在于本地 PPO 在各自数据分布上步进太多，各域模型参数已经分得很开，FedAvg 求平均就像把几条分叉路硬拽回中点，中点是所有岔路里最差的位置。
解决：降低 local_steps、提高联邦轮次，或者调低 PPO 的 clip 到 0.1、0.05。另一个有效手段是加入本地参数锚定：本地更新前后的参数差超过阈值就截断。这个 trick 在跨域流量差异大的场景里经常是救命的，代价是训练时间增加约 20%，但收敛稳定性明显更好。
5.4 现象：部署成功且实例都已放置，但测试链路时延远高于预期
环境里实例放到了正确节点，路由也连通，端到端延迟却高得离谱。原因多半是并行实例被放在同一节点或同一条链路上，仿真排队模型把它们串行处理了，等于“并行放置、串行等待”，并行部署优化白做。
解决：在 step 函数里统计并行实例是否被哈希到不同物理路径，对同一路径上的并发实例数量做惩罚。同时检查环境的链路排队模型：复现包用 FIFO 单队列实现时，两个实例落同一条链路就会排队加倍，这是仿真模型的锅，不是策略的问题。把并行 VNF 设计成多队列并发处理，才能让延迟指标真正反映并行部署收益。
5.5 现象：复现结果始终和论文差一截，涨不上去
一切看起来正常，数值就是比论文低。原因按概率排序，随机种子之外，请求到达模型最容易被忽略。论文实验通常假设到达过程服从泊松分布，复现时用均匀分布或固定间隔，流量突发性没了，并行部署的收益自然出不来。
解决：找到论文实验设定的平均到达率，用相同随机种子和事件时长。评估时取多次实验平均而不是单次，RL 训练本身方差很大。最后再检查请求生命周期，如果 VNF 请求只存在几十步，智能体学不出长程策略，延迟指标也会偏低。调整异步到达率之后再做一次完整训练，通常能明显拉近与论文数值的差距。
6. 复现是否成立：两个指标和一个可视化脚本
6.1 两个指标：成功部署率与平均端到端延迟
训练完成后，第一步用第 3 章的 evaluate_federation 拿 success_rate 和 avg_delay。成功部署率是硬指标，反映策略在资源约束下做出合法部署决策的能力。建议基线设三组：随机放置、贪心放置（每次选剩余资源最大的节点）、论文报告的数值。
复现成功不是看是否超过论文，而是看差距是否在可解释范围内。比如把拓扑从论文的大规模缩小到四域 16 节点，成功率比论文低 5 个百分点属于正常。如果差超过 15 个百分点，优先回头查请求到达率和奖励归一化，而不是怀疑算法本身。
6.2 一个技巧：用策略分布的KL散度监控联邦同步震荡
联邦 DRL 常见的隐藏失败是：聚合后策略看似收敛，实际在轮与轮之间震荡。要量化它，在每轮联邦聚合前后，对固定的一组观测分别计算旧策略与新策略动作分布的 KL 散度。震荡发生时，散度曲线呈锯齿状，而不是逐轮下降。
脚本只需要在聚合前后对同一批观测各算一次分布：从任意域环境里固定采集 50 条观测输入，保持输入不变，散度下降说明聚合在让策略稳步收敛；散度反复大跳说明本地训练步长太大，需要回调 local_steps 或 clip。把这条 KL 曲线和奖励曲线放在同一张图里看，联邦同步是否健康一目了然。
跑完一轮完整复现，我学到最重要的一件事是：联邦深度强化学习在这个方向上的价值，不在于精度上超过集中式 DRL 几个点，而在于它让无法共享全局状态的跨域虚拟网络功能并行部署场景，第一次有了可用的协同优化工具。复现它不是为在测试集上多赢几分，而是为验证这个方向在自己的网络里值不值得投入——希望这篇拆解对你有同样的帮助。
本文还有配套的精品资源，点击获取
