Q-learning与人工势场法融合的无人机航迹规划实战

一开始我拿到这个题目的时候，第一反应是"这又是个套壳的课程设计"。但等我真正把Q-learning和人工势场法放在一起跑起来之后，才发现融合算法这件事远没有想象中那么简单，它牵扯到状态空间怎么设计、局部极小值怎么可靠检测、切换时机怎么判断，以及一大堆在纯理论文章里根本找不到的工程细节。

这篇博文就把我从MATLAB仿真到算法调试的完整过程分享出来，包含核心公式、可复现代码、参数配置和踩坑实录，适合正在做无人机航迹规划课设、毕设，或者刚开始接触强化学习与路径规划融合方向的同学。如果你只是想快速跑通一个demo，这里的代码拿过去改改就能用；如果你想真正搞懂融合逻辑，我会把每一步设计背后的原因也讲透。

1. 为什么非要把Q-learning和人工势场"捏"在一起

1.1 人工势场法：好用，但要命的是局部极小值

人工势场法（Artificial Potential Field，APF）是我最早接触的路径规划算法，它的思想特别直白：把无人机当成一个带电粒子，目标点产生引力，障碍物产生斥力，粒子沿着合力方向移动。

引力指向目标点，保证无人机大体上朝着终点走；斥力指向远离障碍物的方向，保证无人机不会撞上去。两个力一叠加，路径就出来了。计算量小、响应快、路径光滑，这是APF最大的优点，在动态环境下尤其明显，因为每个时刻只需要根据当前状态算一次力。

但APF有一个被说烂了的致命缺陷，就是局部极小值问题。当无人机处于某个位置时，如果刚好引力与斥力大小相等、方向相反，合力为零，无人机就卡住了。最常见的情况是U形障碍物：无人机走进去之后，三面都被障碍物包围，只有入口方向没有斥力，但入口方向恰好也不指向目标，于是拉力与所有斥力达到平衡，无人机就在原地打转，永远出不来。

另外还有一个很隐蔽的目标不可达问题（GNRON，Goal Non-Reachable with Obstacles Nearby）。当目标点离障碍物非常近的时候，无人机越靠近目标，目标点附近障碍物的斥力就越大，导致最后一段路程引力完全被斥力抵消，无人机会在距离目标很远的地方来回震荡，始终到不了终点。

1.2 Q-learning：能学，但别指望它从头规划长程路径

Q-learning作为强化学习里的经典算法，思路是让智能体在与环境不断交互的过程中，通过试错积累一张"状态-动作对"的质量值表，也就是Q表。在某个状态下执行某个动作，如果得到的长期回报高，Q值就高，下次还会选它；如果长期回报差，Q值就低，下次会尽量避免。

如果把Q-learning直接用在航迹规划上，理论上是可以的。把地图栅格化，每个格子是一个状态，动作就是上下左右加对角线的8个方向，奖励函数设置为"到达目标给正奖励、碰障碍物给负奖励、每一步给一个小惩罚"，然后让无人机在栅格地图里反复探索，最终Q表会收敛，查询Q表即可得到最短路径。

但实际做起来会发现两个大问题。

第一个是状态空间爆炸。地图只要稍微大一点，比如100×100的栅格，状态就有10000个，动作8个，Q表就有80000个值需要更新。如果地图再换成三维，状态数是长宽高的乘积，Q表规模会呈三次方增长。想在三维环境里用Q-learning规划长距离路径，需要海量的训练回合，收敛速度和内存占用都会让人崩溃。

第二个是稀疏奖励下的探索效率问题。如果奖励只在到达目标时才给一个很大的正值，那么前几百个回合无人机基本是随机乱走，Q表几乎学不到有效信息。要加快收敛，奖励函数必须额外设计中间奖励、势能奖励或者引导函数，而这些设计本身又需要大量调参经验。

所以纯Q-learning适合解决局部区域的决策问题，但要它规划一条从起点到终点的长路径，工程上不太划算。

1.3 融合思路：主从切换，扬长避短

既然APF擅长快速生成直指目标的路径，Q-learning擅长在局部状态下做出全局价值最优的决策，那自然的想法就是让两者分工合作。

我采用的融合策略是：APF作为主控制器，负责正常环境下的实时跟踪与避障；Q-learning作为备用决策器，只在APF陷入局部极小值、无人机原地踏步时才接管控制，负责选择逃逸动作，带无人机离开局部陷阱。逃逸成功、恢复状态之后，控制权再交还给APF。

这种主从切换方案的逻辑很清晰，而且把Q-learning的用途限定在小范围局部决策上，状态空间不用铺满整张地图，只关注局部邻域即可，大大减小了Q表的规模。同时它也保住了APF计算量小、响应实时性好的优势，用Q-learning的"智能"去弥补APF的"盲目"，听起来很合理，做起来也确实有效。

三种方案的对比我后面用一张表列出来，先把融合逻辑的框架说清楚。

2. 人工势场部分：原理、公式与MATLAB实现细节

2.1 两类势场的数学表达与物理直觉

先来看引力势场。引力势的大小与无人机到目标点的距离平方成正比：

U_att(q) = 0.5 * ξ * ||q - q_goal||²

其中ξ是引力增益系数，q是无人机当前位置，q_goal是目标点位置。对位置求负梯度得到引力：

F_att(q) = -∇U_att(q) = ξ * (q_goal - q)

这个表达式说明，引力方向恒指向目标点，大小与距离线性相关。离目标越远引力越大，无人机加速靠近；离目标越近引力越小，到达目标时引力归零，保证不会冲过终点。这个性质很好，可以让无人机"快到的时候慢下来"。

再来看斥力势场。斥力只在一个有限范围内生效，超出这个范围就完全不考虑：

• 当 ρ(q) ≤ ρ₀ 时：U_rep(q) = 0.5 * η * (1/ρ(q) - 1/ρ₀)²
• 当 ρ(q) > ρ₀ 时：U_rep(q) = 0

其中ρ(q)是无人机到最近障碍物表面的距离，ρ₀是斥力影响距离，η是斥力增益系数。求负梯度得斥力：

F_rep(q) = η * (1/ρ(q) - 1/ρ₀) * (1/ρ(q)²) * ∇ρ(q)

这里的∇ρ(q)是距离场在当前位置的梯度，直观理解就是从障碍物指向无人机方向的单位向量。

来一个生活化的类比。引力像是一根弹性绳，一端绑在无人机上，一端绑在目标点上，绳子有收缩趋势拉着无人机跑；斥力像一块磁铁同极相斥，越靠近障碍物排斥力越大，而且有范围限制，离开安全距离就感觉不到。

2.2 MATLAB核心代码与参数计算

先写一个最基础的人工势场函数，输入当前位置、目标位置、障碍物集合，输出无人机的速度向量和方向角。

function [vel, steer_angle] = apf_compute(pos, goal, obstacles, param) % pos: 1x2 当前位置 [x, y] % goal: 1x2 目标点 [x, y] % obstacles: Nx2 障碍物质心坐标 % param: 结构体，包含 xi, eta, rho0 等参数 xi = param.xi; eta = param.eta; rho0 = param.rho0; % 引力 att_vec = goal - pos; dist_att = norm(att_vec); if dist_att < 1e-3 att_force = zeros(1,2); else att_force = xi * att_vec; end % 斥力 rep_force = zeros(1,2); for i = 1:size(obstacles, 1) obs_pos = obstacles(i,:); rho = norm(pos - obs_pos); if rho < rho0 && rho > 1e-3 grad_rho = (pos - obs_pos) / rho; rep_force = rep_force + eta * (1/rho - 1/rho0) * (1/rho^2) * grad_rho; end end total_force = att_force + rep_force; if norm(total_force) < 1e-3 % 合力为零，陷入局部极小值时的处理交给上层调用者 vel = zeros(1,2); else vel = total_force / norm(total_force); end steer_angle = atan2(vel(2), vel(1)); end

这里有一个很容易踩坑的地方：∇ρ(q)的方向。很多人刚实现APF时会把斥力方向写反，结果无人机会直接冲进障碍物。记住，ρ表示无人机到障碍物的距离，它的梯度方向是距离增加最快的方向，也就是从障碍物质心指向无人机的方向，所以grad_rho = (pos - obs_pos) / rho，千万别写成障碍物质心减当前位置。

关于参数计算，直接给一组我用在500×500地图上的初始值，后面的调参原则再细说：

2.3 为什么要给斥力加"影响范围"这个限制

斥力影响距离ρ₀是整个APF里最需要细抠的变量。如果ρ₀设得太大，无人机从很远处就被障碍物"推开"，路径会严重偏离最优直线；如果ρ₀设得太小，无人机在高速靠近障碍物时才突然感觉到斥力，来不及转弯就撞上了。

一个工程上的经验做法是：把ρ₀设为无人机每帧最大位移的12到15倍。比如我的仿真里无人机单步最大位移是5个像素，ρ₀取60到75就比较合适。这样做既保证无人机具备足够的反应距离，又不会过早受到障碍物影响。

还想强调一点，障碍物本身应该做膨胀处理。真实无人机有物理尺寸，不能把它看成一个点。我会在MATLAB里用bwmorph或卷积核把障碍物边缘向外膨胀几个网格，这样即使无人机沿着规划的路径飞行，也有一个安全缓冲区，不会出现"理论不碰、实际擦肩"的情况。

3. Q-learning部分：状态、动作和奖励怎么设计才不白学

3.1 状态空间与动作空间的栅格化

Q-learning在航迹规划里的第一步，是把连续空间离散化。我把500×500的仿真区域划分成50×50个栅格，每个栅格尺寸是10×10像素。无人机当前所在栅格的索引就是它的状态s，用(x_index, y_index)表示，举例来说，位置(125, 235)对应栅格[(12+1), (23+1)]，换算公式如下：

x_idx = floor(pos(1) / grid_size) + 1; y_idx = floor(pos(2) / grid_size) + 1;

动作空间定义成8个邻域方向，也就是从当前栅格可以向周围8个方向移动一格：

这样Q表就是一个50×50×8的三维数组。MATLAB初始化可以写成：

Q_table = zeros(50, 50, 8);

这里强调一个细节：不用把Q表初始化成随机值或者一个较大的正数，直接全零就行。因为后续的Q值更新是在探索中逐步建立的，初始全零配合ε-greedy策略就能正常学习。

3.2 奖励函数设计的几个坑

奖励函数是Q-learning里最影响学习质量的模块，我踩过好几个坑，逐个说。

第一版我只设置了三类奖励：到达目标+100、碰撞障碍物-50、正常移动-1。跑了500个回合之后，Q表几乎没学到什么有效策略，原因是稀疏奖励问题。在500×500的大地图上，每个回合需要几十上百步才能到目标，而中间每步的奖励都是-1，总回报被这个负数主导，+100的正奖励根本掀不起水花。而且在训练前期，无人机到达目标的概率极低，Q表中绝大多数状态长时间拿不到正反馈。

后来我做了两个改进。一是设置了"靠近目标加分"的分级奖励：如果这次的移动让无人机到目标的距离变短了，额外加2分；如果距离变长了，额外减2分。这样Q表就能从"朝向目标是否有好处"这个信号里快速学到方向性知识，不用等几百步之后的稀疏正奖励。

第二个改进是降低碰撞惩罚的绝对值，从-50改成-20。原来-50的惩罚太狠，无人机在障碍物附近的所有状态都会被"吓"得不敢动弹，导致Q表在障碍物边缘非常敏感，路径规划结果里无人机宁可绕大远路也不愿贴近障碍物一点。

最终的奖励设计如下：

这套奖励设计不是一次性调出来的，中间经历了三轮实验迭代，第一轮跑出来无人机绕远路，第二轮跑出来无人机原地打转，第三轮才基本合理。奖励函数的调参和神经网络的调参一样，都是"观察行为→推断原因→修改数值→重跑"的循环过程。

3.3 Q-learning训练流程与Q值更新

训练时使用最经典的Q值更新公式：

Q(s, a) ← Q(s, a) + α * [r + γ * max_{a'} Q(s', a') - Q(s, a)]

其中α是学习率，控制新信息覆盖旧信息的程度；γ是折扣因子，表示当前奖励与未来奖励的相对重要程度；max_{a'}Q(s', a')是下一个状态中所有动作的最大Q值。

我训练时的探索策略采用ε-greedy，初始ε设为0.9，每个回合结束后衰减0.995，最小为0.05。为什么初始探索率要这么高？因为Q表初始全零，如果不做足够的随机探索，学到的一定是局部最优的短视策略。ε从0.9开始，前期大量随机试错，后期逐渐利用学习到的Q表走"捷径"，这是标准的探索-利用权衡。

% 每200个episode的训练循环片段 for ep = 1:200 pos = start_pos; ep_reward = 0; while true % 当前状态 s = [floor(pos(1)/grid_size)+1, floor(pos(2)/grid_size)+1]; % epsilon-greedy选择动作 if rand() < epsilon a = randi([1,8]); % 探索 else [~, a] = max(Q_table(s(1), s(2), :)); % 利用 end % 移动 new_pos = pos + step_q * [dx(a), dy(a)]; new_pos = max(min(new_pos, map_size), 1); % 边界裁剪 s2 = [floor(new_pos(1)/grid_size)+1, floor(new_pos(2)/grid_size)+1]; % 计算奖励 r = compute_reward(pos, new_pos, goal, obstacles, map_grid); % 更新Q表 Q_table(s(1), s(2), a) = Q_table(s(1), s(2), a) + ... alpha * (r + gamma * max(Q_table(s2(1), s2(2), :)) - ... Q_table(s(1), s(2), a)); % 状态迁移 pos = new_pos; ep_reward = ep_reward + r; % 终止判断 if norm(pos - goal) < goal_threshold || ep_reward < -1000 break; end end epsilon = max(epsilon * decay, 0.05); end

训练完之后，Q表就保存下来，在融合算法中扮演"局部逃逸专家"的角色。

4. 融合算法设计与切换策略

4.1 局部极小值检测的可靠方法

融合算法能否真正提升性能，核心就看一个东西：局部极小值检测得准不准。如果检测不及时，无人机在陷阱里打转很久才被拉出来；如果检测过于灵敏，在正常飞行中频繁触发切换，路径反而会变得很鬼畜，甚至出现倒退。

我试过两种检测方法，最终采用了第二种。

第一种是基于合力模长检测。直接判断APF算出的合力大小是否接近零，小于某个阈值就认为陷入局部极小值。这个方法理论上很完美，但实际跑起来经常误判。因为合力为零的标准非常苛刻，现实中的状态通常是合力在一个小范围内来回波动，无人机绕着一个小圈转，合力从不为零。

第二种是基于位置滞留检测，也是我更推荐的做法。维护一个最近几步位置的历史队列，比如记录最近8步的位置：

% 位置滞留检测 history_positions = [history_positions; pos_current]; if size(history_positions, 1) > 8 history_positions(1,:) = []; end if size(history_positions, 1) == 8 travelled = max(pdist(history_positions)); if travelled < 3 * step_apf is_stuck = true; end end

pdist是MATLAB自带函数，用来算所有成对点的欧氏距离。如果这8个历史位置中任意两点之间的最大距离都小于3倍的单步位移，说明无人机在这段时间里基本没有远离最初的区域，一定是在原地打转，此时判定陷入局部极小值，触发切换。

4.2 逃逸策略：Q-learning接管后的决策流程

检测到局部极小值之后，控制权切换给Q-learning。但这个切换不是简单的"让Q-learning一直走直到到达目标"，那样Q-learning又陷入了状态空间爆炸的老问题。

我的做法是限定逃逸步数。一次触发Q-learning后，最多只执行t步动作，t我取8到15步之间的值。每步动作由预先训练好的Q表查表得到：将无人机当前栅格坐标作为状态s，在Q表里取argmax动作执行。执行完之后，再回到APF逻辑，重新计算合力方向。如果依然检测到滞留，就再来一轮Q-learning逃逸。

为什么要限定逃逸步数？因为Q-learning的动作粒度是栅格，比如每个栅格10像素，动作移动10像素一格，8步也只移动80像素，这个范围足够覆盖局部极小值区域的"出口"。如果8步后无人机依然处于APF的陷阱状态，说明APF当前的局部环境非常恶劣，再让Q-learning多走几步也意义不大，正确的做法是重新规划或把目标点附近的状态再细化。

关键一步是：Q-learning执行逃逸动作的过程中，每一步都要检查新位置是否比进入陷阱时的位置更靠近目标。如果连续3步都在拉大与目标的距离，就提前交还控制权，避免Q-learning把无人机带到更远的地方。

4.3 完整融合流程（分步骤）

把整个融合算法的单次运行流程梳理一遍：

1. 初始化：设置起点、目标点、障碍物集合、APF参数、Q表（从文件加载训练结果）
2. 循环开始，当前位置作为第k步位置
3. 计算APF合力，得到APF建议的方向向量
4. 检查当前位置是否在障碍物内（应避免，但仍有边界毛刺时做安全校验）
5. 执行位置滞留检测：维护历史位置队列，判断是否陷入局部极小值
6. 若未陷入：按APF方向移动一个步长，位置更新
7. 若陷入：切换到Q-learning决策，查Q表得到动作a，按动作移动一步，记录逃逸步数；连续逃逸t步或脱离陷阱后交还控制权
8. 将新位置写入路径数组，更新历史
9. 判断是否到达目标点（距离小于阈值），到达则终止循环并输出路径
10. 若超过最大迭代次数，输出失败信息并保存中间轨迹供分析

这个流程看起来不复杂，但实现过程中每一步都有很多"坑"。我专门在下一节把这些坑和对应的排查方法整理出来，比单纯把参数从头到尾跑一遍有用得多。

5. MATLAB仿真全流程与参数配置

5.1 仿真环境搭建与地图生成

仿真环境我没有用复杂的工具箱，纯手写。地图是一个500×500的逻辑矩阵，0表示自由空间，1表示障碍物。为了让结果更具说服力，我设计了三种场景：普通障碍物场景、U形陷阱场景、目标近障碍物场景。

场景生成MATLAB代码：

map = zeros(500, 500); % 圆形障碍物 [xx, yy] = meshgrid(1:500, 1:500); obs1 = (xx - 150).^2 + (yy - 200).^2 <= 40^2; obs2 = (xx - 350).^2 + (yy - 300).^2 <= 50^2; % U形障碍物 obs3 = (xx >= 250 & xx <= 280 & yy >= 150 & yy <= 350); obs4 = (xx >= 220 & xx <= 330 & yy >= 150 & yy <= 180); obs5 = (xx >= 220 & xx <= 330 & yy >= 320 & yy <= 350); map(obs1 | obs2 | obs3 | obs4 | obs5) = 1; % 膨胀处理：用卷积核膨胀一圈 inflate_kernel = ones(3,3); map_inflated = imdilate(map, inflate_kernel);

膨胀处理非常重要。如果不膨胀，规划的路径会贴着障碍物边缘，仿真中看起来"刚刚好"，但真实无人机稍微受一点风就撞上去了。膨胀三个网格，无人机中心到障碍物边缘的最近距离就有30像素，比较安全。

5.2 主程序框架与运行结果保存

融合算法主循环的代码框架如下：

% 主参数区 param.xi = 0.8; % 引力增益 param.eta = 2.5; % 斥力增益 param.rho0 = 60; % 斥力影响范围 param.step_apf = 5; % APF单步位移 param.step_q = 10; % Q-learning单步位移（栅格尺寸） param.eps = 0.05; % 边界安全距离 start_pos = [50, 50]; goal_pos = [450, 450]; max_iter = 3000; path = []; pos = start_pos; history = []; escape_steps = 0; is_in_escape = false; for iter = 1:max_iter path = [path; pos]; % 到达目标判断 if norm(pos - goal_pos) < 15 disp(['到达目标，迭代次数: ', num2str(iter)]); break; end % 局部极小值检测 history = [history; pos]; if size(history, 1) > 8 history(1, :) = []; end stuck = false; if size(history, 1) == 8 traded = max(pdist(history)); if traded < 3 * param.step_apf && ~is_in_escape stuck = true; is_in_escape = true; escape_steps = 0; disp(['第', num2str(iter), '步检测到局部极小值，位置: ', num2str(pos)]); end end if stuck % Q-learning逃逸 s = [floor(pos(1)/grid_size)+1, floor(pos(2)/grid_size)+1]; [~, a] = max(Q_table(s(1), s(2), :)); pos = pos + param.step_q * [dx(a), dy(a)]; escape_steps = escape_steps + 1; if escape_steps >= 10 is_in_escape = false; end else % APF正常移动 [vel, ~] = apf_compute(pos, goal_pos, obstacles_pos, param); if norm(vel) < 1e-3 % 防止合力为零导致的死循环 pos = pos + param.step_apf * [1, 0]; else pos = pos + param.step_apf * vel; end % 移出逃逸状态 if is_in_escape && ~stuck if norm(pos - goal_pos) < norm(history(1, :) - goal_pos) is_in_escape = false; end end end % 边界约束 pos(1) = min(max(pos(1), 1), 500); pos(2) = min(max(pos(2), 1), 500); % 碰撞检测 if map_inflated(ceil(pos(2)), ceil(pos(1))) == 1 disp(['碰撞！位置: ', num2str(pos)]); break; end end % 保存轨迹 save('path_result.mat', 'path');

运行结束后我用MATLAB的plot在图上叠加轨迹和障碍物，几乎每跑一次都能直观看到路径是否合理、是否绕路、是否卡住。

5.3 参数调节经验与高效对比方法

参数调节是这个项目里最耗时的环节，我整理了三条最有价值的经验。

第一条：先调APF、后调Q-learning、最后调切换。不要一上来就调融合参数，先把纯APF跑通，记录它哪些地方卡住；再单独把Q-learning在同一个地图上训练好；最后才把两者合在一起。每一步都有稳定的基线，出了问题也知道是哪个模块的锅。

第二条：用固定种子复现实验。MATLAB中设置rng(42)可以保证随机数种子一致，这样不同参数下的实验结果可以公平对比。调参最怕的就是这次效果好是运气好，改了随机种子之后效果就崩了。固定种子至少能让"这个参数确实比那个参数好"的判断有更高的可信度。

第三条：把每组参数的结果都画成图保存下来。我实验时会把路径图按参数命名保存，比如"xi0.8_eta2.5_path.png"。跑上几十组之后，回看这个图库就能快速看出参数变化的规律。比如η从2.5调到3.0时，路径会在狭窄通道附近明显外扩；ξ从0.8调到1.2时，路径会向障碍物贴近，这些都是靠图库反复对比才发现的。

6. 常见问题与排查技巧实录

6.1 仿真中频繁出现的典型问题速查表

整个调试过程中我最头疼的就是各种"看似正确但是结果不对"的情况。我把遇到的高频问题整理成了一张速查表，每个问题都对应着具体的排查思路。

6.2 三个让我印象最深的调试bug

第一个bug是斥力方向写反。第一次实现APF时，我在计算grad_rho时写成了(obs_pos - pos)/rho，结果无人机看到障碍物就像看到目标一样冲过去，第一段路径就撞上了第一个障碍物。排查了很久才发现是坐标方向搞反了。这个错误其实非常有代表性，因为很多教程把"斥力方向远离障碍物"和"距离场梯度的数学定义"混在一起讲，初看无从分辨。

第二个bug是碰撞检测的坐标映射。MATLAB的矩阵索引是(row, col)，也就是(y, x)，而绘图坐标是(x, y)。我在碰撞检测那行写成了map_inflated(ceil(pos(1)), ceil(pos(2)))，把x当成行、y当成列来索引，导致轨迹在图的左下角偏出一个奇怪的形状，看起来像在"空气"里飞行。后来统一写成map_inflated(ceil(pos(2)), ceil(pos(1)))才正常，做仿真时x和y的映射关系一定要从头到尾保持一致。

第三个bug是局部极小值检测只看合力是否为零。我有一次运行中，明明轨迹图上无人机在一个狭长通道里来回抖动，但检测逻辑却一直没有触发切换。打印中间变量后发现，合力的模长一直在0.8到1.5之间波动，远大于我设置的阈值0.1，所以检测不到。但看人的眼睛判断，它就是在原地附近来回弹跳。换成位置滞留检测之后，这个问题立刻消失。这也说明"卡住"的本质是位置不前进，而不是某一时刻的力恰好平衡。

6.3 一套可复用的实验对比方法

论文里或者课程设计报告里经常需要对比三组结果：纯APF、纯Q-learning、融合算法。我建议在同一个地图上跑这三组实验，并且用统一的评价指标。我自己用的指标有四个：路径总长度、规划耗时、是否到达目标、迭代中路径的平滑度（相邻路径点夹角变化量）。

这个表格不是凭空编的，是我在U形陷阱场景下跑20次取平均后的结果。纯APF在这个场景下基本都会卡在U形中间，成功率很低；纯Q-learning成功率高但需要提前训练几百回合；融合算法的成功率接近纯Q-learning，同时计算开销接近纯APF，这就是融合的价值所在。

7. 最后再分享一些实操层面的心得

整个项目做下来，我最深的体会是：融合算法的难点不在算法本身，而在"什么时候该听谁的"这个决策上。局部极小值检测阈值、逃逸步数、切换后的恢复条件，这些参数直接影响最终路径质量，甚至比算法内部的α、γ、ξ、η更敏感。如果你做一个融合算法发现效果不好，先别急着改核心算法，先把切换逻辑的参数遍历一遍，往往会有惊喜。

另外，Q-learning的训练阶段一定要可视化。我训练时会定期画一张热力图，颜色表示Q表中当前状态到目标的最大价值，看起来就像地图上有一个从目标点向外扩散的"价值梯度"。当这个梯度逐渐覆盖到起点区域时，说明Q表已经学会了大方向；如果训练了很久热力图还是乱的，那一定是奖励函数或状态映射出了问题，趁早停下来修改，比硬着头皮多跑几百回合有效得多。

最后补充一个把仿真路径迁移到真实无人机时的建议：仿真里无人机是理想质点模型，不考虑动力学约束，所以规划出来的折线转弯不能直接给飞控执行。建议在仿真后加一步轨迹平滑，用三次样条或者最小转弯半径约束把折线修整一下，再输入给飞控。这个步骤虽然不属于"航迹规划"的范畴，但在工程落地里非常重要，别漏了。

如果你准备在这个基础上继续扩展，我建议下一步把环境换成三维，人工势场的斥力函数要增加高度维度，Q-learning的状态空间也需要设计成体素栅格。三维环境下的局部极小值和陷阱种类更多，融合算法的切换逻辑会更有发挥空间，也更能体现强化学习的价值。