卫星网络Q学习Matlab仿真：星间链路调度与收敛实验

简介：这是一份面向卫星通信与强化学习初学者的MATLAB仿真资源，演示Q学习算法在卫星网络中完成智能决策与优化的完整流程。压缩包共2个文件，均为.m脚本，整体大小仅2KB，代码结构紧凑，却完整覆盖了卫星网络场景参数定义、Q表初始化、智能体与环境迭代交互、奖励获取及Q值更新等核心环节，非常适合逐行研读与二次修改。目前已有146人学习，资源热度不错。通过运行和分析代码，读者可以掌握状态与动作空间的设计方法、奖励函数的构造逻辑，以及学习率和折扣因子如何影响算法收敛；同时还能对照卫星网络中的路由选择、频谱分配、功率控制等典型问题，直观理解强化学习如何根据链路状况动态调整策略。对于想快速入门强化学习在通信网络中应用的研究者或学生，这是一份值得动手实践的浓缩范本。

1. 卫星网络的Q学习仿真包：它到底解决什么问题

拿到一份“Matlab系列--卫星网络q学习matlab仿真.zip”，第一反应通常是怀疑：Q学习这种已经存在几十年的表格算法，真的还能在卫星网络场景里派上用场吗？答案是能，但需要先理解它解决的不是轨道计算，而是星间链路调度问题。低轨卫星拓扑动态变化、星间链路通断频繁，传统静态路由需要频繁重算，而Q学习可以让每颗卫星只凭本地观测积累经验，逐步学会“这条链路上此刻该不该转发”。这份资源适合两类人：一类是做通信仿真、想快速对比强化学习与传统路由的研究生；另一类是刚接触Q学习、想要一份能跑通的Matlab工程作为起点的工程师。下面我会把建模思路、代码结构、收敛实验和典型坑完整拆开讲。

2. Q学习建模：把星间链路调度写成MDP的四个关键动作

2.1 为什么卫星拓扑场景天然适配表格Q学习

卫星网络和地面网络最明显的差别是节点在动。低轨场景下，星间链路的通断状态每隔几十秒就会刷新一次，单纯用最短路径算法需要全局拓扑信息，每刷新一次就要在全网范围重新算一遍。Q学习不同，它不需要预先知道完整的拓扑矩阵，也不需要业务矩阵的全局视图，只需要在当前时隙感知到“我在哪颗星、有哪些邻居可选、链路质量如何”，执行一次转发动作，拿回一个奖励值，就能持续修正一张Q表。

有人会问，现在深度强化学习这么普及，为什么不直接上DQN？这里有一个很现实的取舍：在典型的单层低轨场景里，如果只控制数据向哪颗邻居星转发，状态空间通常只有几百到几千个离散值，表格完全装得下。用Q表的好处是透明、可逐项检查，能直接看到每个状态下四个动作的Q值差距。等以后扩展到大星座、每个节点还要同时决策功率和波束时，再升级到DQN也来得及。这正是这份zip包采用经典Q学习的原因：收敛快、好调试、不会被深度网络的随机性干扰现象吓退一步。

2.2 状态、动作、奖励：三要素怎么对齐通信指标

用Q学习做链路调度，最容易出现的失误是直接写算法、不先梳理MDP映射。包里对三要素的定义方式很有代表性，我拆开整理如下。这个映射表也是后来我自己搭通信仿真时最常用的模板。

包内奖励函数实现的是单步奖励，也就是每完成一跳转发就结算一次。这样设计的最大好处是反馈密集，一个回合内Q值就能向源头方向传播。但它也埋着一个隐患：如果权重没有调好，卫星会变得短视，只看当前一跳时延低，却把数据转发到了下一跳注定拥堵的节点。我一般会把奖励写成时延负项和队列积压负项的组合，且权重先偏向队列积压，因为队列积压是卫星本地能直接观测的最强拥塞信号。

2.3 状态编码模板：先压缩状态，再写更新式

拿到场景后，第一步不是写贝尔曼更新，而是先设计状态编码。包内使用的是一个离散编码函数，把SNR、队列、邻居组合压成一个整数索引用作Q表行号。下面是典型的实现思路。

function s = encodeState(satId, snrLevel, queueLevel, candCount) % 将连续物理量离散化为整型状态索引 % satId: 当前卫星编号(1..N) % snrLevel: 链路信噪比档位(1..M) % queueLevel: 业务队列积压档位(1..K) % candCount: 当前可选邻居数量(1..C) s = sub2ind([N, M, K, C], satId, snrLevel, queueLevel, candCount); end

这里有一个容易忽略的陷阱：不要直接对“具体是哪些邻居”做组合枚举。例如某颗星有6个邻居，全部组合编码会产生2的6次方种可能，其中绝大多数在运行时用不到，Q表却已经按最大状态数分配了内存。更稳妥的做法是只对“可选邻居数量”和“最优SNR序号”两个标量编码。这样状态数从指数级降为线性级，Q表内存占用和访问稀疏度都更可控。

2.4 与固定路由的收敛差异：Q表为什么不需要全局重算

低轨卫星轨道有强周期性，拓扑变化不是完全随机的。很多工程师会说，既然轨道可预测，为什么不用固定路由表按周期切换？问题在于链路拥塞和业务到达是统计变化的，固定路由只能在平均意义上接近最优，遇到突发流量，它会持续把数据送进已经拥塞的链路，直到下一个重算周期到来。Q学习相当于在每个节点存了一张“路况经验表”，遇到相似状态时直接查历史最优动作，不再依赖全网泛洪。

更直白地说，Q表是本地经验缓存，对应的是“这个状态下，选这个动作长期回报更大”的统计规律。卫星网络的状态集合虽然会变，但轨道周期会反复覆盖大量相似状态，Q表在这些重复状态上越滚越准。这就是它在动态拓扑下不需要即时全局重算也能维持较高吞吐量的原因。

3. Matlab代码落位：demo结构与三处必修参数

3.1 解压之后的文件结构与主入口

这份zip解压后，核心文件的分工比较清楚，我在实际复现时按下面这套流程理解代码会顺畅很多：

• main_sat_qlearning.m：主仿真脚本，负责初始化环境和回合循环
• env_satellite.m：卫星网络环境，状态转移、奖励结算都在这里
• action_select.m：动作选择，实现epsilon-greedy策略
• reward_calc.m：单跳奖励计算函数
• q_table.mat：预训练Q表，可以直接加载做策略评估
• plot_result.m：收敛曲线绘图脚本

第一次运行时，我建议不要直接在Matlab GUI里点运行，而是用命令行模式。它不弹窗、便于批处理调参，日志也能完整保存。

matlab -batch "main_sat_qlearning;"

这条命令会在当前目录直接执行主脚本，跑完后生成q_table.mat和reward_history.mat两个文件。第一次复现的目标很简单，就是让整条链路从初始化到出图完整走一遍，确认包的代码依赖没有问题。如果这一步报错，多半是工作目录没有切换到解压目录，或者是用了太老的Matlab版本导致函数名不兼容。

3.2 主循环：回合、步进、更新三层分开

主循环是Q学习的标准骨架，代码量不大，但三个层次必须分明：最外层是回合循环，中间是单回合内的步进循环，最内层是Q值更新。我复现时把这段核心循环整理如下。

for episode = 1:maxEpisodes state = env.reset(); totalReward = 0; for step = 1:maxSteps % epsilon概率随机探索，否则选择当前Q值最大的动作 if rand() < epsilon action = randi(numActions); else [~, action] = max(Q(state, :)); end [nextState, reward, done] = env.step(action); % 贝尔曼更新：用当前估计的下一状态最优值逼近真值 Q(state, action) = Q(state, action) + alpha * ... (reward + gamma * max(Q(nextState, :)) - Q(state, action)); totalReward = totalReward + reward; state = nextState; if done break; end end % 每50回合执行一次探索率衰减 if mod(episode, 50) == 0 epsilon = max(epsilonMin, epsilon * epsilonDecay); end rewardHistory(episode) = totalReward; end

这段代码里有三个参数决定最终效果。alpha是学习率，一般设0.05到0.2，取值过大会导致Q值来回震荡，过小则收敛速度慢到让人失去耐心。gamma是折扣因子，卫星网络这类单次模拟长度有限的场景取0.9附近比较合理，太小会让卫星只看眼前一跳，太大又会让远期奖励传播过慢。epsilon初始值建议0.9，最低0.01，衰减系数0.85左右；衰减过慢浪费前几百个回合，衰减过快容易早早锁死在次优策略上。每回合maxSteps上限必须从小给它设一个值，否则链路断开时卫星会在动作空间里空转到超时。

3.3 奖励函数：别让卫星“贪小利吃大亏”

奖励函数是这份资源里最需要动手改的地方。默认实现用的是“吞吐量正向奖励扣掉三个惩罚项”的结构，核心代码和注释如下。

function r = reward_calc(throughput, delay, queuePenalty, dropNum) % 单跳转发后的奖励结算 % throughput: 本跳成功传输的数据量(Mbit) % delay: 本跳时延(ms) % queuePenalty: 队列积压比例(1.0表示满载) % dropNum: 本跳丢包数 base = throughput * 10; delayPenalty = max(0, delay - dMax) * 2; queuePenalty = queuePenalty * 5; dropPenalty = dropNum * 8; r = base - delayPenalty - queuePenalty - dropPenalty; end

这段代码的思路是对的：吞吐量是正向指标，时延只惩罚超过阈值的部分，防止正常时延也被当成负数惩罚；队列惩罚让卫星不要一股脑涌向高负载节点；丢包惩罚很重，目的是避免卫星在低质量链路上反复重传。实际操作中我发现一个规律：如果仿真里的卫星学会绕开拥塞节点，但整体吞吐量反而下降，多半是奖励缺少“向目标星靠近”的正向引导。单跳奖励只看局部收益，数据可能被绕到与目的星越来越远的方向。此时需要在到达目标星时增加一个较大的额外正奖励，而不是只依赖逐跳惩罚。

3.4 探索节奏：动作选择函数为什么把epsilon放在回合级

很多人第一次改动作选择函数时，会顺手把epsilon写进每个步进的判断里，结果发现同一个回合内前期探索后期利用，策略乱跳。正确做法是在回合级维护epsilon，一个回合内保持同一个探索水平。包内action_select函数接口如下。

function action = action_select(Q, state, epsilon, numActions) % epsilon-greedy：先判断是否探索，再决定利用 if rand() < epsilon action = randi(numActions); else [~, action] = max(Q(state, :)); end end

实际调参时我习惯让探索率按回合线性衰减，而不是指数衰减。线性衰减在前期给足探索空间，后期稳定利用。如果在某个场景里发现Q表收敛后策略又在跳变，可以先怀疑是不是epsilon没有降到足够低。这个函数不需要改逻辑，只需要保证传入的epsilon是回合级变量而不是步进级变量。

4. 收敛性实验：两千回合后和随机策略差多少

4.1 场景参数与实验基线

拿到包以后，第一件事是用默认参数跑通，第二件事就是搭建对比实验。包里默认场景是一些低轨卫星组成的环形拓扑，我复现时把参数固定为下面这一组，保证后续所有对比都在同一基线之上。

这套参数的核心思路是“让状态空间刚好落在表格能承载的上限附近”。业务流太少，Q学习和随机策略差距不明显；业务流太多，单回合步长不够，数据送不到目的地。跑完2000回合大约需要几分钟到十几分钟不等，取决于机器性能。

4.2 学习曲线：别只看单回合数值，要看滑动平均

Q学习单回合奖励波动非常大，直接plot出来会看到一条毛刺密集的噪声带。包里提供的plot_result脚本用了滑动平均处理，这在实际分析中很关键。

window = 20; avgReward = movmean(rewardHistory, window); figure; plot(1:maxEpisodes, avgReward, 'LineWidth', 1.5); xlabel('Episode'); ylabel('Average Reward'); grid on;

滑动窗口选20到50都可以。横轴是回合数不是仿真时间，每一回合相当于完整跑了一段业务调度过程。看这条曲线时重点看三个特征：前200回合是否有明显上升趋势，中段是否有持续震荡，末尾是否进入一个窄幅平台期。如果800回合以后曲线还在大幅上下抖动，说明探索率衰减太慢或学习率偏高；如果曲线平滑但一直不涨，说明奖励函数对正确行为的区分度过低。

4.3 固定随机种子的三策略对比

在通信仿真里，业务到达和信道变化都是随机过程，不控制随机种子，对比结果就完全无法复现。我在对比实验中固定使用同一个rng种子，对三种策略各跑一遍完整流程。

rng(42); randomReward = run_policy('random'); % 纯随机选择下一跳 greedyReward = run_policy('greedy'); % 每步选择Q表当前最大值 qlReward = run_policy('qlearning'); % 带探索和衰减的完整Q学习

这里的greedy策略其实是一个很强的基线，因为它直接使用训练好的Q表。需要说明的是，如果在同一份Q表上跑greedy和qlearning两条曲线，两者前几百回合差距明显，后期会逐渐接近。我按默认参数跑出来的参考量级大致是：随机策略归一化收益为1.0，固定最小跳数贪婪路由约1.45左右，Q学习2000回合后在1.9附近。不同业务模型下绝对值会有偏差，但Q学习显著优于随机、略优于静态贪婪规律是稳定的。

4.4 Q表访问频率：哪颗星被学得最充分

只画学习曲线还不够，我还会统计每个状态被访问的次数，用来判断Q表里哪些部分可信、哪些部分是“瞎猜”。

visitCount = accumarray(stateHistory(:), 1, [numStates, 1]); [maxVisit, maxState] = max(visitCount);

高访问量的状态通常集中在业务源附近的节点上，因为这些状态每回合都会出现；低访问量的状态往往对应长时间断开的链路。如果在训练结束后发现大量状态访问次数为零，说明状态编码粒度过细，压缩档位太密，实际运行根本覆盖不到。此时应该减少SNR档位数量，而不是增加训练回合数，因为Q表里那些空白行即使训练再多回合也不会被访问到。

5. 避坑指南：仿真不收敛、内存爆掉、对比失真的五个排查点

5.1 奖励曲线长期不收敛，看起来像一条噪声带

现象：平均回报曲线没有上升趋势，从头到尾都在一个区间内抖动。

原因：最常见的是探索率没有衰减。epsilon一直保持在0.9，卫星每步都要做随机选择，Q表永远积累不起来有效经验。另一个次要原因是alpha过大，单步更新摆动太剧烈，经验刚被写入就被新样本覆盖。

解决：把epsilon改成回合级衰减，每50回合乘以一个小于1的系数，最低降到0.01；alpha从0.1调低到0.05或0.02再跑一次，确认曲线毛刺明显减小。衰减系数0.85是起点，不是标准答案。

5.2 回合奖励在涨，业务完成率却在下降

现象：只看Q学习曲线会觉得效果不错，但对比业务完成率后发现它比随机策略更差。

原因：奖励函数权重失衡。比如吞吐量权重过高，卫星学会了把数据绕到长时延链路上抢带宽，虽然单跳收益变大，但端到端时延和丢包率全崩了。这是单步奖励最典型的翻车方式。

解决：不要只盯一条回报曲线。我一般会把奖励、业务完成率、平均时延三条曲线画在同一张图里观察趋势。把delayPenalty从超过阈值才惩罚改成线性惩罚，把queuePenalty权重提高一档，再看业务完成率是否跟随上升。如果完成率和Q值方向不一致，说明奖励定义和真实目标脱节。

5.3 Q表内存爆炸：状态编码太细导致Matlab报错

现象：运行到中途Matlab提示Out of Memory，位置通常在Q = zeros(numStates, numActions)这一行。

原因：状态编码里包含了具体邻居组合或过密的SNR档位。每个维度乘起来之后，状态数瞬间达到几十万甚至上百万，而一个回合最多几千次访问，绝大多数行根本不会被触碰。

解决：把SNR档位从10档压到4档，邻居组合编码改成“可选邻居数量加最优SNR序号”，状态数可以降两个数量级。先保证表格能被经验覆盖，再谈精细决策。如果压缩后策略效果下降，可以换用特征化Q函数而不是继续加宽表格。

5.4 卫星在几个节点之间反复横跳

现象：单回合步数跑满，数据没有到达目标星，轨迹在相邻几颗星之间循环。

原因：奖励函数只惩罚时延，不惩罚重复访问，动作空间里“返回上一跳”和“往目标星方向走”的Q值都差不多，卫星学到了绕圈攒奖励的路径。

解决：在单回合内维护一个已访问节点列表，对重复访问动作给出较大的负奖励。另一个补救办法是设置maxSteps，超时后直接结束当前回合并扣一个大惩罚，让“空转”变成成本极高的行为。这两步同时做，基本能消除循环轨迹。

5.5 对比实验失真：换一个种子结论就反转

现象：Q学习比随机策略好30%，换一个随机种子再跑，差距缩小到5%。

原因：业务流和信道状态只在特定样本下有明显差异，固定单一随机种子等于只验证了一个样本。少数回合的波动完全可能盖过策略差异。

解决：固定多个随机种子，每个种子跑完整训练后取平均再比较。我习惯把随机种子列表和参数一起存进结构体，每次实验都重放同一组种子，最终绘制带误差棒的对比曲线。至少跑5个种子再下结论，这是一个写论文和写代码都通用的底线。

6. 进阶方向：从Q表到多智能体扩展的验证方法

如果这份包里的Q表已经能稳定跑出收敛曲线，下一步最自然的扩展是把它从单智能体调度升级成多维度协同决策。常见路线是把状态空间拆成两级：上层用Q学习负责星间链路选择，下层用固定规则做功率分配。这个拆分能有效避免状态爆炸，环境文件env_satellite.m基本可以复用，只要把动作从“选择邻居”扩展为“选择邻居加功率档位”的组合即可。另一个路线是换DQN，用神经网络近似Q函数，但要注意神经网络的非确定性会让调试难度明显增加，建议先把表格版本理解透再换。

验证训练效果时，最佳做法是把epsilon强制设为0，加载已保存的q_table.mat，在全新的业务流样本上评估策略。这样可以确认学到的策略到底是记住了训练样本，还是学到了可迁移的规律。我会额外检查“训练集时延”和“测试集时延”的差距，差距过大说明过拟合到了训练流量模式。这里有一个我自己的教训：曾经只盯着回合平均奖励调权重，改完一版后发现回报涨得快，业务完成率却悄悄降了，折腾了一天才发现是奖励函数里漏了“向目标星靠近”的正向引导。从那以后，我每次训练完都会先打印一条“奖励加完成率加时延”的三合一统计曲线，再决定要不要进入下一步调参。希望这份拆解能帮你避免同样的弯路。

本文还有配套的精品资源，点击获取