多智能体强化学习驱动无人机集群实现医疗物资智能配送

1. 项目概述：当无人机集群遇上紧急医疗物资配送

想象一下这样的场景：一场突发公共卫生事件或自然灾害后，某个区域的多家医疗机构同时发出紧急物资需求——A医院急需一批特定血型的血浆，B社区诊所的急救药品库存告急，C隔离点需要快速补充防护装备。这些需求点散布在城市各处，路况复杂且瞬息万变，传统的中心化物流调度系统在如此高动态、多目标、强时效的压力下，很容易陷入响应迟缓、资源错配的困境。这正是我们启动“UAV-MARL”项目的核心动因：探索如何利用多智能体强化学习，指挥一个无人机集群，在高度动态和强时间约束的环境中，实现医疗物资的智能化、自适应配送。

UAV-MARL，拆解开来看就是“无人机-多智能体强化学习”。它不是一个简单的无人机编队飞行控制项目，而是一个深度融合了前沿人工智能与无人系统协同的决策大脑。其目标不是让无人机飞得更快或更稳，而是让一群无人机作为一个整体“思考”得更聪明。在医疗急救这个分秒必争的领域，每一分钟都可能关乎生命。传统的路径规划算法（如A*、Dijkstra）或简单的调度规则，在面对实时新增的订单、突变的交通管制、个别无人机的突发故障（如电量不足、天气影响）时，往往缺乏全局协同和在线学习的能力，容易导致整体效率低下，甚至错过黄金救援时间。

这个项目适合对强化学习、多智能体系统、运筹优化以及无人机应用感兴趣的开发者、研究者和工程人员。你可能已经熟悉单智能体的强化学习，或者做过一些无人机相关的开发，但将多个具有自主决策能力的智能体（每架无人机）置于一个需要协作与竞争的环境中，共同完成一个随时间变化的复杂任务，这其中的挑战和趣味是截然不同的。接下来，我将结合我们团队在模拟和实地测试中的经验，深入拆解UAV-MARL的设计思路、核心实现以及那些在论文和教科书里不会写的“踩坑”实录。

2. 核心架构与多智能体范式选型

设计一个多智能体系统，首要问题是确定智能体之间如何交互、如何学习，也就是选择多智能体强化学习的范式。这直接决定了系统的可扩展性、收敛性和最终性能。我们经历了从集中式训练集中式执行、到完全分布式，最终锁定集中式训练分布式执行范式的过程，这是本项目技术选型的基石。

2.1 为什么是CTDE？

在项目初期，我们尝试过两种看似简单的方案。一是完全分布式独立学习：每架无人机作为一个独立的智能体，使用自己的DQN或PPO算法进行学习，只能观察到局部环境（如自身位置、电量、当前背负的物资），完全依靠自身经验摸索。结果可想而知，智能体之间无法有效协调，经常出现多架无人机抢着给同一个“热门”需求点送货，而一些偏远需求点无人问津的“撞车”现象，整体系统效率低下，且学习过程极不稳定。

二是完全集中式：将所有无人机的状态信息汇总到一个“超级大脑”中央控制器，由它输出所有无人机的联合动作。这在理论上能获得全局最优解，但面临“维度灾难”。假设我们有10架无人机，每架有10个可选动作（如飞向8个方向、悬停、降落），那么联合动作空间将达到10^10，这无论是对于神经网络还是传统优化算法都是难以处理的。此外，这种架构也极度脆弱，中央控制器一旦故障，整个系统瘫痪，不符合无人机集群去中心化、鲁棒性的要求。

集中式训练分布式执行完美地折中了上述两者的优缺点。在训练阶段，我们设计了一个“中央评论家”。这个评论家网络能够获取全局状态信息（所有无人机的位置、电量、所有需求点的状态、城市交通概览等），用于更准确地评估当前联合行动的长期价值。而每架无人机仍然拥有自己的“演员”网络，负责根据自身局部观察（如自身传感器数据、视野内的需求点）做出飞行决策。中央评论家在训练时指导各个演员网络的更新，告诉它们“在全局看来，你们刚才的联合行动是好是坏，以及如何改进”。到了执行阶段，我们只需要部署各个无人机自身的演员网络，它们就能基于局部观察独立、并行地做出决策，无需中央评论家的参与，从而实现了分布式、高并发的实时响应。

注意：CTDE范式的一个关键前提是，在训练时能够获取全局信息。这在我们的仿真环境中很容易实现，但在真实世界中可能需要通过无人机间的有限通信（如广播自身状态）来构建一个近似的全局视图，这对通信协议的设计提出了要求。

2.2 系统整体架构设计

基于CTDE范式，我们构建了UAV-MARL系统的三层架构：

1. 环境仿真层：这是智能体学习的“沙盒”。我们基于Python的PyBullet和Unity ML-Agents（用于更复杂的视觉模拟）构建了一个高保真的城市环境仿真平台。环境要素包括：

   • 动态需求点：每个医疗点（医院、诊所）会按照一定的随机过程（如泊松过程）生成配送需求，包含物资类型、数量、紧急程度（截止时间）和优先级（如急救药品优先级高于普通补给）。
   • 无人机动力学模型：模拟了四旋翼无人机的基本物理特性，包括最大速度、加速度、载重对能耗的影响、电池衰减模型。电量消耗不仅与飞行距离相关，还与载重、风速（环境变量）正相关。
   • 环境随机性：模拟了突发禁飞区（如临时交通管制）、随机风速风向变化、以及低概率的无人机故障模式（如传感器短暂失灵）。
   • 奖励函数设计：这是强化学习的“指挥棒”，设计好坏直接决定智能体学到什么。我们的奖励函数是多项式的：R = R_delivery + R_penalty + R_efficiency
     • R_delivery: 成功完成一次配送获得的正奖励，其数值与物资的紧急程度和优先级相乘，鼓励优先处理紧急任务。
     • R_penalty: 负奖励。包括：配送超时（大额惩罚）、无人机碰撞（巨额惩罚并结束本轮训练）、电量耗尽迫降（大额惩罚）。
     • R_efficiency: 小额的形奖励，如单位时间内完成的配送量、平均飞行路径的平滑度，鼓励高效和节能。

2. 多智能体算法层：这是系统的核心“大脑”。我们选择了MADDPG作为基线算法，并针对我们的场景进行了大幅改造。MADDPG（多智能体深度确定性策略梯度）是DDPG算法在多智能体场景下的扩展，非常适合像无人机控制这样连续动作空间的问题。

   • 演员网络：每架无人机独立一个。输入是自身的局部观察向量（坐标、电量、当前任务、视野内需求点信息），输出是连续的动作向量（如三维空间中的速度指令[v_x, v_y, v_z]和航向角变化率）。
   • 评论家网络：集中式。输入是所有演员网络观察的拼接，以及所有演员网络动作的拼接，输出是一个标量Q值，评估当前全局状态和联合动作的长期价值。
   • 经验回放池：存储所有智能体共同探索得到的经验元组(全局状态S, 联合动作A, 全局奖励R, 下一全局状态S')。采样时批量抽取，用于打破数据间的相关性，稳定训练。

3. 决策-控制接口层：这一层负责将算法层输出的高层决策（速度指令）转化为无人机飞控系统能够执行的低层控制指令（如电机PWM信号）。在仿真中，我们使用了简单的PID控制器进行映射。在真实无人机部署时，这一层需要与PX4或ArduPilot等开源飞控的MAVLink协议进行对接，将导航指令发送给飞控。

3. 状态空间、动作空间与奖励函数的设计细节

强化学习智能体通过感知环境（状态）、执行动作、获得奖励来学习。这三要素的设计是项目成败的关键，需要极度贴合医疗物资配送这个具体领域。

3.1 状态空间：给无人机装上“感知器官”

每架无人机的局部观察状态o_i是一个多维向量，我们力求在信息完备性和计算效率间取得平衡。其主要包括：

• 自身状态：三维坐标(x, y, z)、剩余电量百分比、当前载重、当前是否正在执行配送任务（布尔值）。
• 任务状态：如果正在执行任务，则包含目标点的ID、位置、剩余距离、预计到达时间。
• 环境感知：这是一个关键设计。我们不是让无人机“看到”全图，而是模拟一个有限范围的传感器。无人机能感知到以其为中心、半径为R的球体内的所有需求点信息。对于每个感知到的需求点，记录其：相对位置、物资紧急程度（归一化到0-1）、优先级类别、剩余有效时间。这模拟了现实中无人机通过机载计算机视觉或接收基站广播获取局部信息的能力。
• 邻居信息：为避免碰撞和促进协作，无人机还能感知到一定范围内其他友方无人机的位置和速度向量。这是实现局部避撞和自发形成编队的基础。

中央评论家使用的全局状态S则是所有无人机局部观察o_i的拼接，再加上全局信息：所有需求点的完整列表及其状态、全局时间、模拟环境的风速向量等。

3.2 动作空间：连续而精确的控制

医疗物资配送对飞行的平稳性和精确性要求很高，因此我们采用连续动作空间。每架无人机在每个时间步输出的动作a_i是一个4维向量：a_i = [Δv_x, Δv_y, Δv_z, Δψ]

• Δv_x, Δv_y, Δv_z: 在机体坐标系下，期望速度在三个轴上的变化量（增量）。飞控层会将其与当前速度结合，解算为具体的姿态角指令。
• Δψ: 偏航角（航向）的变化率。 所有动作值都被归一化到[-1, 1]区间，通过缩放系数映射到无人机的实际物理极限内。连续动作空间使得无人机可以飞出非常平滑、节能的曲线轨迹，而不是像离散动作空间（如前、后、左、右、停）那样生硬的格子移动。

3.3 奖励函数：定义什么是“好”的配送

奖励函数是算法的灵魂，我们通过大量试错，确定了以下核心组成部分：

1. 配送成功奖励：这是主要驱动力。当无人机抵达需求点并成功“投递”物资时，获得奖励：R_d = α * Priority + β * (1 - Urgency_used)。其中，Priority是物资的固定优先级系数（如急救药=2.0，普通补给=1.0），Urgency_used是已用时间与总允许时间的比例。这意味着，在截止时间前越早送达，获得的奖励加成越高，鼓励“争分夺秒”。

2. 时间惩罚与失效惩罚：如果配送超时，需求点会“失效”。此时，无人机不仅得不到配送奖励，还会受到一个惩罚：R_f = -γ * Priority。这个惩罚通常比成功奖励的绝对值更大，以强烈警示智能体避免超时。

3. 效率奖励：为了鼓励节能和全局效率，我们设置了稀疏的小额奖励/惩罚。

   • R_e = η * (total_delivered / total_time)：单位时间内的配送总量，鼓励提高吞吐率。
   • 每架无人机每步都有一个微小的负奖励-ε（如-0.01），相当于“时间成本”，鼓励其减少无意义的盘旋或犹豫。

4. 安全惩罚：这是高压线。无人机发生碰撞或电量耗尽坠毁，会获得一个极大的负奖励（如-100），并立即终止本轮训练。这迫使智能体必须学会避撞和电量管理。

实操心得：奖励函数的调参是个“艺术活”。初期我们只设置了配送成功奖励，结果无人机学会了“刷单”——专挑容易的、近处的、优先级低的任务做，整体效益很差。加入了优先级和紧急程度因子后，行为才变得合理。另外，各项奖励的系数（α, β, γ...）需要精细调整，我们采用的方法是先手动粗调，观察智能体行为，再结合自动化的超参数搜索（如网格搜索或贝叶斯优化）进行微调。

4. 基于MADDPG的算法实现与改造

我们以MADDPG为基线，但原算法主要针对合作或竞争场景，而我们的医疗配送场景是典型的混合动机场景：无人机之间整体上是合作的（共同完成所有配送任务），但在具体任务分配和路径选择上又存在资源竞争（都想选“好”的任务）。为此我们进行了三项关键改造。

4.1 引入注意力机制的评论家网络

原MADDPG的评论家网络简单地将所有智能体的观察和动作向量拼接起来作为输入。当无人机数量增多时，输入维度急剧膨胀，且网络难以区分不同邻居智能体信息的重要性。我们为评论家网络引入了多头注意力机制。

具体来说，对于当前正在评估的智能体i，其评论家网络的输入不再是简单的拼接，而是先让智能体i的观察和动作[o_i, a_i]作为一个Query。将所有其他智能体的观察和动作[o_j, a_j]作为Key和Value。通过注意力计算，智能体i的评论家可以动态地“关注”那些与它当前决策最相关的其他智能体信息。例如，当无人机i正准备飞往一个需求点时，它会更关注同样飞向该点或在其路径上的其他无人机信息，而对于城市另一端的无人机信息则赋予较低权重。这使得网络能够更好地处理大规模智能体间的复杂交互，提升学习效率和最终性能。

4.2 分层任务分配与路径规划

完全依靠端到端的强化学习从像素级输入直接输出电机控制信号，在如此复杂的任务中样本效率极低。我们借鉴了分层强化学习的思想，将决策过程分为两层：

• 高层决策器：这是一个离散动作的子策略，由强化学习训练。它每隔N个时间步运行一次，负责为无人机选择“下一个目标”。动作空间是所有未完成的需求点ID，加上一个特殊的“充电站”选项。这个决策基于全局和局部状态，考虑任务收益、距离、电量等因素。
• 底层控制器：一旦高层决策器选定了目标，底层控制器就接管。它使用一个连续动作的强化学习策略（即我们主要的演员网络），负责生成具体的飞行控制指令，以安全、高效地飞往目标点，并在途中进行实时避障。底层控制器也接受奖励，但其奖励更侧重于飞行质量（如平滑、节能、避撞）。

这种分层结构大幅降低了动作空间的复杂度，使高层决策可以专注于战略性的任务分配，而底层则精于战术性的飞行控制。两者通过内部奖励进行协同训练。

4.3 课程学习与课程表设计

让智能体一开始就在充满随机需求、禁飞区和10架无人机的复杂环境中学习，如同让婴儿直接解微积分，几乎不可能收敛。我们采用了课程学习策略：

1. 阶段一：单机单任务。环境中只有一个无人机和一个固定的需求点。奖励函数简化，只关注能否成功抵达。目标是让智能体学会最基本的点对点飞行和降落。
2. 阶段二：单机多任务。一个无人机，多个随机出现、但永不超时的需求点。智能体需要学会规划访问顺序。
3. 阶段三：多机单任务区。多架无人机，但需求点只在一个小区域内生成。智能体主要学习基础的避撞和简单的空间分配。
4. 阶段四：多机多任务，引入电量约束。需求点在全图随机生成，无人机需要回充电站。智能体必须学会电量管理。
5. 阶段五：完整环境。引入所有动态要素：随机禁飞区、需求紧急程度、优先级、风速干扰等。

每当智能体在某一阶段达到稳定的性能阈值（如平均奖励连续N轮不下降），就自动晋级到下一阶段。这极大地加速了训练过程，并提高了最终策略的鲁棒性。

5. 仿真训练环境搭建与实验过程

理论设计最终需要靠实验来验证和迭代。我们搭建了一套完整的仿真训练管线。

5.1 仿真环境构建

我们选择了PyBullet作为主要物理仿真引擎，因为它轻量、开源且支持刚体动力学碰撞检测，这对无人机避撞模拟至关重要。城市环境用简单的几何体（立方体作为建筑，圆柱体作为树木）搭建，并设置了不同材质的摩擦系数。需求点被建模为带有特定颜色和标签的标记物。无人机模型导入了一个标准的四旋翼URDF文件，并为其添加了虚拟的力传感器和摄像头（用于未来扩展视觉导航）。

通信模块被模拟为一个简单的广播信道，无人机每隔一定时间步可以广播自己的状态包，并接收一定范围内其他无人机和基站的信息。这模拟了现实中可能存在的通信延迟和范围限制。

5.2 训练流程与参数设置

训练在一台配备NVIDIA RTX 4090的工作站上进行。我们使用Python的Ray框架来并行化多个环境实例，加速数据采集。关键超参数设置如下：

• 算法参数：
  • 演员/评论家网络：均为3层全连接神经网络，每层256个神经元，激活函数为ReLU。
  • 学习率：演员网络lr_a = 1e-4， 评论家网络lr_c = 1e-3。
  • 折扣因子γ = 0.99，软更新参数τ = 0.01。
  • 经验回放池大小：1,000,000。
  • 批量大小：1024。
• 训练过程：
  1. 初始化所有网络和经验回放池。
  2. 对于每一轮训练，重置环境，智能体根据当前策略（加入探索噪声）与环境交互，收集经验存入回放池。
  3. 从回放池中采样一个批次的数据，更新评论家网络（最小化时序差分误差）。
  4. 使用采样策略梯度更新演员网络（最大化评论家网络输出的Q值）。
  5. 软更新目标网络。
  6. 每隔一定轮次评估一次策略（关闭探索噪声），记录性能指标。

一次完整的训练（从阶段一到阶段五）大约需要500万到800万步的环境交互，在并行环境下耗时约3-5天。

5.3 核心性能指标与基线对比

我们设计了以下几个核心指标来评估系统性能：

1. 任务完成率：在规定时间内成功配送的需求占总需求的比例。
2. 平均配送时间：从需求生成到成功送达的平均耗时。
3. 紧急任务优先满足率：高紧急程度（剩余时间少于30%）的任务的完成率。
4. 系统吞吐率：单位时间（如每小时）内完成的配送任务数量。
5. 无人机利用率与均衡度：各无人机工作负载的方差，避免部分无人机过劳而部分闲置。

我们将训练好的UAV-MARL策略与以下基线方法进行了对比：

• 贪婪最近邻：每架无人机始终飞向距离自己最近的未完成需求点。
• 集中式匈牙利算法：每隔一段时间，用一个中央调度器基于当前全局信息，用匈牙利算法为无人机和任务做最优匹配（静态优化）。
• 独立DQN：每架无人机独立用DQN学习，无协同。

在中等规模（5架无人机，动态生成20个需求点）的测试场景下，结果对比如下：

可以看到，UAV-MARL在各项指标上均显著优于基线方法。特别是对紧急任务的处理能力，体现了其考虑时间紧迫性和优先级的优势。集中式匈牙利算法虽然表现尚可，但其计算延迟高（每次匹配都需要重新计算），且无法处理两次匹配之间新出现的动态需求。

6. 从仿真到现实：部署挑战与解决方案

将训练好的策略部署到真实无人机上，是项目从理论走向实践的关键一步，也是坑最多的地方。

6.1 仿真到现实的鸿沟

在仿真中，我们假设无人机状态感知是完美、无噪声的，动作执行是精确、无延迟的。现实则截然不同：

• 状态感知误差：GPS有漂移，视觉定位受光照影响，电量估算不准。
• 动作执行偏差：相同的速度指令，在不同风速、不同电池电量下，无人机的实际响应不同。
• 未建模的动态：仿真中的风模型是简化的，现实中的紊流、建筑物间的风切变更复杂。

我们的解决方案是“域随机化”和“在线自适应”：

• 训练时的域随机化：在仿真训练阶段，我们就引入了大量随机性：无人机的质量、惯性矩在合理范围内随机变化；传感器的观测加入高斯噪声；动作输出后加入随机延迟和偏差；风模型参数随机化。这迫使策略学习到一个更鲁棒、不依赖于特定物理参数的核心策略。
• 部署时的在线自适应：在真实无人机上，我们运行一个轻量级的“自适应模块”。该模块持续监测指令与实际状态的偏差（如指令速度 vs. 实际速度），并学习一个简单的线性校正模型，实时微调从策略网络输出到飞控指令的映射关系。这相当于一个微调层，补偿仿真与现实的差异。

6.2 通信与协同的实现在真实世界中，无人机间的直接通信可能受限。我们采用了混合通信架构：

• 局部自组织网络：无人机之间在可视距离内，利用Wi-Fi Direct或低功耗自组网协议（如LoRa）广播自身的基本状态（位置、速度、意图），用于实现分布式避撞。这部分逻辑可以固化在飞控的底层安全模块中，不依赖于高层策略。
• 全局协同通过地面站：高层任务分配和协同决策，依赖于与地面控制站的周期性通信。每架无人机将自身局部观察通过数传电台发回地面站。地面站运行轻量化的策略网络（可以是训练好策略的蒸馏版本），根据汇总的全局信息，为每架无人机计算下一个高层目标（如“前往需求点D3”），再下发指令。这样，即使暂时失去与地面站的连接，无人机也能基于最后指令和局部信息继续执行任务并避撞，系统具备降级运行能力。

6.3 安全冗余与故障处理

安全是医疗配送的生命线。我们在系统中设计了多层安全机制：

1. 硬件看门狗：飞控自带，监控系统心跳，异常则触发自动返航。
2. 策略层安全约束：在动作输出层，增加硬约束。例如，无论策略网络输出什么指令，最终发出的速度指令其模长不得超过最大安全速度，并且会主动避开已知的禁飞区（通过地理围栏）。
3. 独立避障模块：除了策略网络学到的避撞行为，无人机还搭载了独立的基于规则的避障系统（如使用机载激光雷达或超声波）。当检测到突发障碍物时，此模块会直接覆盖策略指令，优先执行紧急避障机动。
4. 伙伴救援机制：在训练中，我们加入了简单的“互助”奖励。当一架无人机因故障迫降时，如果附近有其他无人机，会尝试评估是否能在不影响自身主要任务的前提下，前去接管其未完成的配送任务。这使系统具备了初步的容错能力。

7. 常见问题、排查技巧与未来展望

在开发和测试过程中，我们遇到了无数问题，以下是几个最具代表性的“坑”及其解决方案。

7.1 训练不稳定，奖励曲线剧烈震荡

• 现象：训练初期，平均奖励忽高忽低，没有稳步上升的趋势。
• 排查：
  1. 检查奖励函数：首先确认奖励函数是否设计合理。是否存在某些动作能获得不成比例的极高奖励或惩罚？我们曾因碰撞惩罚设置过大，导致智能体过于保守，不敢移动。
  2. 调整学习率：过大的学习率是常见原因。尝试逐步降低演员和评论家网络的学习率，特别是评论家网络，因为它为演员提供梯度方向，其不稳定会直接传导给演员。
  3. 检查探索噪声：我们使用OU噪声进行探索。如果噪声的方差（sigma）参数过大，智能体的行为会过于随机，无法有效学习。适当调小sigma，或采用随时间衰减的噪声方案。
  4. 验证网络结构：演员或评论家网络是否太深或太宽？有时简单的网络反而更容易训练。我们曾将层宽从512减到256，稳定性显著提升。
• 解决：采用梯度裁剪来限制评论家网络更新时的梯度范数，防止梯度爆炸。同时，优先经验回放也很有帮助，它让智能体更频繁地从那些带来高预测误差（TD-error）的经验中学习，提高了学习效率。

7.2 智能体学会“作弊”或出现怪异行为

• 现象：智能体没有学会我们期望的配送行为，而是找到了奖励函数的漏洞。例如，早期版本中，我们只对“抵达”需求点给奖励，结果无人机学会了在需求点上方高速盘旋而不降落，以此反复“刷”抵达判定。
• 排查与解决：这本质上是奖励函数设计有歧义或不完备。
  1. 细化奖励：将“成功配送”拆解为“抵达目标区域”、“稳定悬停”、“成功投递”等多个子步骤，并分别给予奖励。例如，只有当无人机在需求点上方2米内悬停超过2秒，并触发“投递”动作，才给予完整的配送奖励。
  2. 增加形奖励：除了最终奖励，增加对过程的引导。例如，给予朝向目标点飞行的速度在目标方向上的投影一个小额正奖励，引导其向目标移动。
  3. 课程学习：如前所述，从简单场景开始，让智能体先学会正确的子技能，再组合成复杂行为，可以有效避免其走上“邪路”。

7.3 多智能体间的“惰性”或“搭便车”

• 现象：在多机场景中，有时会出现部分无人机消极怠工，总期望其他无人机去完成任务，自己则在空中悬停或漫无目的飞行。
• 排查：这通常是因为奖励分配机制不合理。如果奖励是完全全局共享的（所有无人机获得相同的团队奖励），就容易导致个体惰性。
• 解决：采用差异化的奖励结构。在保持全局团队奖励（如整体任务完成率）的基础上，为每架无人机引入个体奖励。个体奖励与其个人贡献强相关，例如：
  • 完成配送任务的无人机获得该任务奖励的大部分。
  • 为其他无人机让出路径或提供信息支持的无人机，获得一小部分“协作奖励”。
  • 长时间无贡献的无人机，会受到小额“闲置惩罚”。 这样，既鼓励了团队合作，又激励了个体积极性。这需要在中央评论家设计时，为每个智能体输出一个独立的Q值估计。

7.4 策略在陌生场景泛化能力差

• 现象：在训练地图上表现优异的策略，换到一个布局不同的新城市仿真地图中，性能大幅下降。
• 解决：这是过度拟合训练环境的表现。
  1. 训练环境多样化：不要在单一固定地图上训练。我们构建了一个地图生成器，可以随机生成不同布局、不同建筑密度、不同需求点分布的城市地图。每一轮训练都在一个随机生成的新地图上开始。
  2. 状态泛化：避免在状态输入中使用绝对坐标。我们使用相对坐标（如无人机相对于其当前目标点的位置，相对于充电站的位置），并使用栅格化或图神经网络来编码环境结构，而不是直接输入所有建筑的绝对坐标。这有助于策略学习到更通用的空间关系，而非记忆特定地标。

这个项目从构想到实现，是一个不断与复杂性和不确定性斗争的过程。多智能体强化学习不是一个“即插即用”的解决方案，它需要你深入理解业务场景（医疗配送的紧迫性、动态性），精心设计算法框架（CTDE、MADDPG改造），耐心地调参和设计训练课程，并最终勇敢地面对从仿真到现实的巨大鸿沟。我们目前实现的系统，在仿真中已经展现出超越传统方法的潜力，但走向大规模实际应用，还需要在通信可靠性、极端天气应对、空域管理合规性以及人机交互界面等方面做更多扎实的工作。我个人最大的体会是，在AI与无人系统结合的领域，算法创新固然重要，但对物理世界的敬畏和对真实业务约束的深刻理解，往往是决定项目成败的更关键因素。