基于Q-learning的三维无人机动态避障Matlab实现与调参实战

1. 项目概述与方案选型：Q-learning 凭什么能用于三维避障

去年我把“基于 Q-learning 的三维无人机动态避障导航算法”在 Matlab 里完整跑通了一遍，从三维栅格建模、奖励函数设计、Q 表训练，到动态障碍物出现时的在线避障决策，链路全部打通。这个项目做下来最大的收获是：强化学习并不是只能处理车、机械臂这类二维或拟二维任务，只要状态和动作离散化得当，三维无人机的避障导航一样可以靠一张 Q 表完成。本文把这个项目的设计思路、Matlab 实现细节、调参经验、踩坑记录完整整理出来，适合刚开始接触强化学习路径规划、或者想用 Matlab 快速验证无人机避障算法的朋友参考。

先泼一盆冷水：Q-learning 不是万能的，它用一张离散的 Q 表存储“状态-动作”的长期回报，所以状态空间一旦爆炸就会显得力不从心。但在中等尺度的三维栅格环境中，状态数量完全可控，训练时间也在可接受范围内。我的实验环境是 30×30×20 的栅格空间，状态数 18000，动作数 6，Q 表只有 108000 个 float，Matlab 矩阵操作处理这类规模绰绰有余。再加上 Q-learning 不依赖环境模型，不需要知道障碍物的精确运动方程，这对无人机避障这种“知道大概、拿不到精确”的场景非常友好。

1.1 传统方法在三维动态场景中的短板

在跑 Q-learning 之前，我把人工势场、A*、RRT 系列都试了一圈。人工势场实现简单，目标点产生引力场、障碍物产生斥力场，但三维环境下特别容易出现局部极小点，无人机经常卡在障碍物前“抖动”，或者绕一个很大的弯才走出来。A* 在三维栅格中倒是能找到最短路径，但它是静态规划算法，动态障碍物一出现，整个最优路径就废了，必须全局重算。RRT 系列对高维连续空间效果不错，但路径不稳定、节点采样耗时，而且很难把“动态避障”直接融入规划过程。

这些方法本质上的共同问题是：它们把避障看作一个“当前时刻的优化问题”，要么只看到局部势场，要么只算一条全局路。而无人机在空中面临的障碍物可能是缓慢移动的、突然出现的，甚至环境中存在多个不确定区域。Q-learning 的做法不同，它把“在这个状态下，做出什么动作最有利”这件事长期地学到 Q 表里。即使动态障碍物出现，原有的 Q 值仍然能告诉无人机哪个方向大概率安全，只需要在决策时屏蔽掉即时碰撞方向即可。

1.2 Q-learning 的建模思路和适用边界

Q-learning 的核心是贝尔曼最优方程：Q(s,a) ← Q(s,a) + α[r + γ·max(Q(s',a')) - Q(s,a)]。它通过不断与环境交互，用奖励信号反向校正各个状态-动作对的价值估计。无人机避障恰好可以被建模成马尔可夫决策过程：当前三维坐标是状态，飞行的六个基本方向是动作，碰撞、到达目标、靠近目标都是奖励反馈。

但要提醒一句，Q-learning 适用的前提是状态和动作必须离散化。如果你的无人机是连续空间控制，那我更建议用 DQN、PPO 一类的深度强化学习方法。三维栅格地图天然把连续空间切成网格，无人机只需要从一格跳到相邻格，动作空间就可以简化成“前后左右上下”六种选择。这个离散化过程让问题从“连续最优控制”变成“离散最优策略搜索”，复杂度下降一个量级。

另外要注意，Q-learning 是离线的训练策略，实际部署时 Q 表不再更新，只做查表和决策。这让它在动态避障场景中反而更稳：动态障碍物的变化是局部的，不需要重新训练整张 Q 表，只需要把动态障碍物占用的栅格标记为不可通行，然后在可行的动作里选 Q 值最大的那个。这个思路我在实验中验证过，效果远比我最初设想的要好。

2. 环境建模、状态动作与奖励函数：把物理世界翻译成 Q 表

要让 Q-learning 在三维环境中工作，第一步不是写训练循环，而是把三维世界整理成 Q 表能读懂的语言。这一步如果偷懒，后面训练效果会非常差。整个建模过程分为三部分：状态空间、动作空间、奖励函数。

2.1 三维栅格地图与状态编码

我用的是最简单的 voxel 栅格地图，把飞行空间划分成等大小的立方体。30×30×20 表示 X 方向 30 格、Y 方向 30 格、Z 方向 20 格，每格边长对应实际距离 1 米。无人机的位置就由一个三维坐标表示，比如(x, y, z)，其中x∈[1,30]、y∈[1,30]、z∈[1,20]。

Matlab 中最重要的一个技巧是用sub2ind把三维坐标转成线性索引，让 Q 表可以用一维索引访问。Q 表的行数等于nx*ny*nz，我直接初始化成：

nx = 30; ny = 30; nz = 20; Q = zeros(nx * ny * nz, 6);

这样每个位置都对应一行，每行六个动作的 Q 值。访问某个坐标(x,y,z)的 Q 值时，只需要idx = sub2ind([nx, ny, nz], x, y, z)，然后Q(idx, actionIdx)就是当前状态的动作价值。边界和静态障碍物都提前生成一个逻辑掩码obsMask，同样是nx*ny*nz的布尔矩阵。

状态编码时还有一个容易忽略的坑：坐标转索引前必须做边界检查，因为训练中无人机很容易尝试飞出边界。我的做法是先判断动作后的新坐标是否合法，如果非法就不放进 nextState，直接视为碰撞处理。这样 Q 表不会出现越界访问的 bug，训练也能稳定进行。

2.2 动作空间设计

三维无人机的基本运动可以简化成六个离散方向：X 正负方向、Y 正负方向、Z 正负方向。我定义动作矩阵如下：

actions = [1 0 0; -1 0 0; 0 1 0; 0 -1 0; 0 0 1; 0 0 -1];

每个动作对应一步，步长等于栅格边长 1 米。这里没有加入斜向飞行，也没有加入速度控制，是为了降低训练难度。实际项目中如果无人机需要更平滑的轨迹，可以把动作空间扩展到 26 邻域（包含对角线方向），但训练时间会显著增加。建议先跑通六方向版本，再考虑扩展。

动作空间设计的另一个关键点是“非法动作”的处理。当动作后的坐标撞到静态障碍物或超出边界，我返回nextState = currentState、奖励为负，同时本轮决策结束。刚开始我尝试让无人机原地停留，结果发现它很快就学会通过“原地不动”来逃避惩罚，后来改成“撞到就返回当前位置且给较大惩罚”，这个问题就消失了。这算是一个值得注意的实操点。

2.3 奖励函数：碰撞、目标、距离引导

奖励函数是整个项目中最影响训练效果的部分。我的奖励函数由四部分组成：

• 碰撞惩罚：r_collision = -100
• 到达目标奖励：r_goal = +100
• 每一步的微小时间惩罚：r_step = -1
• 距离引导项：r_shape = -k * (d_new - d_old)

其中d_new是执行动作后无人机到目标的欧氏距离，d_old是动作前距离，k是引导系数，我取 0.1。为什么需要距离引导？因为单纯靠“碰撞 -100、目标 +100、每步 -1”这种稀疏奖励，无人机在三维大空間里需要非常多次随机探索才能偶然碰到目标。加入距离引导后，无人机每走近目标一步都能获得正反馈，训练收敛速度明显加快。

但距离引导也不是越大越好。刚开始我贪心，把k设成 1，结果无人机为了靠近目标而贴着障碍物边缘滑行，甚至经常撞墙。原因很简单：靠近目标带来的奖励太大，超过了碰撞惩罚带来的恐惧。后来我把碰撞惩罚提高到 -100、距离引导降到 0.1，路径才变得更安全。奖励函数本质上是一个多目标权衡，必须调到一个让无人机“既愿意前进、又不敢乱撞”的平衡点。

3. Matlab 训练实现与动态避障在线策略

环境建模完成后，进入核心训练环节。这一部分包括 Q 表的更新流程、epsilon 贪心探索策略，以及动态障碍物出现时的在线决策方法。训练代码的骨架并不复杂，但每个细节都影响最终效果。

3.1 训练主循环与 Q 表更新

先看主循环结构，核心就是跑很多轮 episode，每轮从起点出发，让无人机反复尝试直到到达目标或超过最大步数。训练伪代码如下：

alpha = 0.3; % 学习率 gamma = 0.9; % 折扣因子 epsilon = 0.9; % 初始探索率 maxEpisodes = 6000; maxSteps = 500; for episode = 1:maxEpisodes stateIdx = startIdx; for step = 1:maxSteps if rand < epsilon action = randi(6); else [~, action] = max(Q(stateIdx, :)); end [nextStateIdx, reward, done] = takeAction(stateIdx, action); bestNext = max(Q(nextStateIdx, :)); Q(stateIdx, action) = Q(stateIdx, action) + ... alpha * (reward + gamma * bestNext - Q(stateIdx, action)); stateIdx = nextStateIdx; if done break; end end epsilon = max(0.01, epsilon * 0.995); end

takeAction是关键函数，它根据当前状态和动作索引计算新的坐标，检查障碍物和边界，返回新状态索引、即时奖励和是否结束。需要注意一点：如果是碰撞，done我设为 false，让无人机停留在原地继续训练；如果是到达目标，done设为 true。碰到障碍物并不结束 episode，这能让无人机多次尝试绕行，而不是碰一次就重置。实际测试下来，这种方式比“碰到障碍物立刻终止”学到更快。

3.2 epsilon 贪心与探索退火

Q-learning 训练最怕陷入“局部最优策略”。如果探索率太低，无人机可能永远发现不了某条需要绕远路的通道；如果探索率太高，训练后期又无法稳定收敛。我的做法是从 0.9 开始，每个 episode 乘 0.995，一直衰减到 0.01 的下限。6000 个 episode 后，探索率大约衰减到 0.01 附近，无人机主要利用已经学到的 Q 表行动。

学习率 alpha 我一开始固定为 0.3，后面也试过线性衰减。固定学习率在大多数场景下够用，但如果你发现训练初期波动大，可以考虑把 alpha 从 0.8 线性降到 0.1。这里有一个经验：学习率过大，Q 值震荡严重；学习率过小，收敛太慢。0.3 是我多次试出来的比较稳的中间值。

折扣因子 gamma 我设为 0.9，代表无人机比较重视未来收益。如果 gamma 太小，它会只顾眼前，路径质量差；gamma 太大，训练收敛慢。0.9 到 0.95 之间是强化学习常用的区间，可以从这个范围开始调。

3.3 动态障碍物出现时的重规划思路

动态障碍物是这个项目的重点。Q-learning 天然适合离线训练，所以我的方案是：静态环境中完成 Q 表训练，在线飞行时用传感器实时探测动态障碍物，把它们临时加入障碍物掩码，然后在动作选择阶段屏蔽非法动作。

具体实现思路很简单：每次无人机决策前，把当前动态障碍物占用的栅格临时标记为不可通行，遍历六个动作，如果某个动作后到达的位置被静态或动态障碍物占用，就把那一个动作的 Q 值设为-inf，然后再从剩余合法动作里选 Q 值最大的。这个过程中的 Q 表完全不需要重新更新，因为 Q 表学到的是每个位置的整体趋势，动态障碍物只影响局部几个状态。就算最优路径被动态障碍物挡住，无人机会自动选择 Q 值次高的方向先绕开，等障碍物移走后再回到原路径。我在仿真里加过两个缓慢移动的球形障碍物，无人机都能成功绕行，绕行距离平均只增加 10% 左右。

这种方法的另一个好处是计算开销极低。在线决策只需要一次碰撞检查和一次argmax，效率远高于重新调用 A* 或 RRT。当然它也有局限：如果动态障碍物移动速度太快、或者环境中动态障碍物数量太多，无人机可能在局部陷入“频繁重规划”的抖动状态。我当时的应对方式是加一个“最小重定向间隔”，每隔几个仿真步才允许切换新动作，避免频繁变向。

4. 仿真实验与关键参数实测对比

仿真实验是整个项目最让人有成就感的部分。这个阶段我用 Matlab 自带的可视化工具把无人机飞行轨迹画成三维曲线，看着它在障碍物之间绕行、接近目标、成功降落，整个训练过程的辛苦都值了。下面记录我的一组典型实验配置和结果，供大家复现时参考。

4.1 场景配置与训练过程曲线

我设计的测试场景是 30×30×20 的栅格空间，起点放在(2, 2, 2)，目标点放在(28, 28, 18)。在空间中随机生成了 15 个静态障碍物，每个障碍物覆盖 2×2×2 的栅格区域，模拟楼房或不可穿越区域。训练 6000 个 episode，单回合最大步数 500。

训练过程中我重点观察两个指标：每回合步数和碰撞次数。刚开始几百个 episode，无人机基本是随机乱飞，平均步数在 300 以上，碰撞率非常高，几乎每次都会碰到障碍物。大约 1000 个 episode 后，训练曲线开始下降，无人机能够偶尔到达目标。到了 4000 个 episode 左右，平均步数降到 90 附近，碰撞率也明显下降。6000 个 episode 后，路径长度稳定在 88 格左右，成功率可以达到 95% 以上。

这个过程说明一个很现实的问题：Q-learning 训练不能只看最终结果，训练曲线的形状更重要。如果训练曲线下降太慢，大概率是奖励函数或探索率设置有问题，要及时停下来调整，而不是盲目等待。

4.2 静态场景路径质量

静态场景测试中，我比较了不同奖励参数下的路径质量。设置距离引导系数k=0.1时，无人机在 6000 个 episode 后收敛出的路径是：从起点出发后先沿 X 方向飞行，遇到障碍物后向右绕行 3 格，再爬升 2 格，最后直线飞向目标，整体路径长度为 88 格。这个结果和 A* 求出的最短路径差距不大，只多了不到 10 格。

而当我设置k=1时，路径虽然更短，但无人机经常贴着障碍物的边界飞行，最近的一次距障碍物只有 1 格，安全性很差。所以我最终放弃了单纯追求路径最短的思路，把安全距离也纳入了奖励函数设计。实际无人机应用中，路径长度和安全裕度需要同时考虑，而 Q-learning 的奖励函数就是调整这个权衡的旋钮。

4.3 动态场景避障测试

动态场景测试是整个项目的验收环节。我在静态地图基础上增加了两个障碍物：一个在 Y 方向来回移动，移动速度 1 格/仿真步；另一个在 X 方向缓慢移动，速度 0.5 格/仿真步。这两个障碍物正好挡在 Q 表最优路径的关键位置上。

测试中，无人机使用“在线屏蔽非法动作 + Q 值重选”策略，成功避开了两个动态障碍物。第一次绕行让路径长度从 88 格增加到 96 格，第二次绕行增加到 101 格。整体成功率在 20 次重复测试中达到 90%。如果去掉重定向间隔限制，无人机偶尔会出现来回抖动，但最终也能成功到达目标。这个结果验证了我的核心思路：训练阶段学到的 Q 表包含了丰富的备选路径信息，在线决策只需要适当屏蔽即可。

5. 常见问题排查与避坑技巧

最后这部分是真正值钱的经验。代码本身并不复杂，难的是调试那些“看起来没毛病但就是不收敛”的问题。下面几个坑我基本都踩过一遍，整理成速查表形式，遇到相同现象可以直接对照排查。

5.1 训练发散或不收敛的常见原因

训练发散最常见的三个原因：学习率太大、探索率衰减太快、奖励量级不平衡。学习率太大会让 Q 值来回震荡，曲线像心电图一样；探索率衰减太快会让无人机过早进入“纯利用”阶段，还没把地图探索完就开始走固定路线，结果永远找不到目标；奖励量级不平衡最隐蔽，碰撞惩罚太小或距离引导太大，都会让无人机做出奇怪的行为。

我的建议是先固定 gamma=0.9、alpha=0.3、epsilon 从 0.9 线性衰减到 0.01，然后只调节奖励函数。奖励函数中，到达目标是 +100、碰撞是 -100、每步是 -1，这个“正负对称、步进微弱”的配置在大多数栅格环境中都能稳定收敛。如果训练发散，优先检查奖励的量级，而不是急着调整学习率。

5.2 奖励函数中的几个陷阱

距离引导项虽然有奇效，但也是最容易出问题的地方。r_shape = -k*(d_new - d_old)这个公式里，d_new < d_old时奖励为正，无人机愿意靠近目标；但目标附近往往有障碍物，无人机为了靠近目标会忽略障碍物。过大的k还会导致无人机在目标点附近反复振荡：明明已经到达目标，但因为一步的距离引导奖励是正的，Q 表会鼓励它在目标附近来回移动而不是停住。

解决方法是把“到达目标”事件设为终止状态并给予大额正奖励，同时在目标周围做一个小的“吸引力范围”，一旦进入范围就强制结束回合。另外碰撞惩罚尽量超过距离引导单步收益的量级，否则无人机学会“撞一下换一两格推进”这种危险行为。我踩过最狠的坑就是把碰撞惩罚设成 -10、距离引导系数设成 0.3，结果训练出来的路径贴着墙壁走，后来改成 -100 和 0.1 后立刻正常。

5.3 问题排查速查表

我在实际项目中还有一个体会：Q-learning 做三维无人机避障，本质上是“离线训练一个价值先验，在线叠加安全规则”。动态环境不需要从头学，传统规划算法也不需要完全抛弃，把它和 Q 表结合反而能得到一个又稳又快的导航方案。如果你也在做类似项目，建议先用小地图把训练流程跑通，再慢慢加大场景复杂度。三维避障这条路，Q-learning 只是起点，但它足以让你看到强化学习在无人机控制里的巨大潜力。