微电网能量管理中的强化学习应用：Q-Learning与SARSA(λ)的实现

做微电网能量管理这几年，我越发觉得强化学习这条路子值得认真对待。尤其是当你面对一个 4 节点微型电网，既要平衡分布式电源出力，又要压储能充放电的成本，还得盯住负载波动的时候，Q-Learning 和 SARSA(λ) 这两种算法能给你非常直观的求解思路。这篇博文我会从算法原理、状态动作设计、Matlab 代码实现到训练调参，把整个优化求解过程完整拆开讲一遍，方便你在自己的项目里直接复现和扩展。

我最早接到这个模拟项目时，第一反应其实是“4 节点这么小的规模，用混合整数线性规划不就够了？为什么要上强化学习？”后来把需求仔细捋了一遍才明白，微型电网的优化难点从来不在规模，而在随机性和在线决策。光伏出力飘忽不定，负载曲线也有峰谷，储能系统需要在每个时步决定充、放还是待机，柴油机要决定开几台、出多少力——这些都是典型的序贯决策问题，恰好是强化学习的强项。这篇文章适合正在做微电网调度、综合能源系统优化或者入门强化学习应用的研究生和工程师，我会尽量把每一步讲清楚，让你拿到代码框架后能自己改、自己跑。

1. 为什么要用强化学习做微电网优化

1.1 4节点微型电网优化到底在优化什么

先把这个“4 节点微型电网”说透。所谓 4 节点，你可以理解成一个简化拓扑：节点 1 接光伏和本地负荷，节点 2 接储能电池，节点 3 接柴油发电机，节点 4 作为联络母线负责对外购电或向主网送电。实际工程中节点数可能更多，但核心组件不外乎就是这几类——分布式可再生能源、储能、可控机组、负荷。

优化目标是让整个微电网在一个调度周期内的总运行成本最小，成本主要来自三块：

• 柴油发电机的燃料成本，以及启停惩罚成本
• 从主网购电的费用，如果峰谷电价差异大，这块的调度空间会非常可观
• 储能系统的退化成本，虽然单位电量成本不高，但频繁深充深放会明显缩短电池寿命，必须在奖励函数里体现

同时要满足一组约束：功率平衡（发电量加购电量等于负荷加损耗）、储能SOC上下限、柴油机出力上下限、联络线传输功率上限等。传统做法是把这些写成线性或混合整数规划，然后调用求解器去算。但问题在于，如果你要实时响应光伏和负荷的波动，每个时步都要重跑一次优化，求解耗时和在线决策需求之间的矛盾会越来越突出。

1.2 传统方法卡在哪，强化学习凭什么能行

我在这里必须给传统方法一个公道评价：如果系统模型非常准确，负荷和光伏曲线是确定性的，混合整数规划一定是最优解，没有任何算法能比得过它。但现实场景总有偏差——光伏预测误差 20% 是家常便饭，负荷也会有突发波动，这时候规划解就尴尬了。

强化学习的思路是绕开“精确建模”这个难点，用“试错”来学策略。智能体在每个时步观察电网状态，比如当前负荷、光伏出力、SOC、电价，然后选择一个动作，环境反馈一个奖励值，智能体根据奖励修正自己的策略。它的优势不在“某一步最优”，而在“让一整天的累计成本最低”。

还有一层考虑是计算资源。强化学习把模型预测控制的在线滚动优化变成了查表或者近似函数映射，决策速度快了几个数量级。我在这套 4 节点系统里实测，Q-Learning 查表决策单个时步只要几毫秒，而调用线性规划求解器动辄几百毫秒以上，这对实时能量管理非常重要。

1.3 两种算法的核心差异：激进派与稳健派

同样是基于表格的时序差分方法，Q-Learning 和 SARSA(λ) 走了完全不同的路线。学界习惯于把它们的区别概括成 off-policy 和 on-policy，但我更喜欢用“激进派”和“稳健派”来记：Q-Learning 在更新 Q 值时不管当前策略实际选择了什么动作，直接取下一步状态里 Q 值最大的那个动作来更新，相当于“我不管现实怎么走，我朝着最优方向冲”；SARSA 则严格按当前策略实际采取的动作来更新，策略保守一点，学习到的最优路径也就保守一点。

λ 这个参数则是 SARSA 家族特有的扩展。当 λ 等于 0，SARSA(λ) 退化成单步 SARSA，只更新当前状态动作对；λ 接近 1，算法会把当前奖励和 TD 误差回溯到过去一整条轨迹上所有访问过的状态动作对，训练收敛得更快，代价是计算量和存储量上升。用资格迹（eligibility trace）实现这种回溯，是 SARSA(λ) 区别于一众无模型算法最核心的机制。

我个人的经验是：如果环境状态噪声比较大，或者动作执行存在干扰，SARSA(λ) 学出来的策略通常更鲁棒，不会为了想象中的最大收益冒险做出危险的调度决策；如果环境相对干净、状态转移可预测，Q-Learning 的收敛速度会更让你惊喜。

2. 算法原理与关键参数设计

2.1 Q-Learning 的更新机制拆解

Q-Learning 的核心就是一个查表更新的公式：

Q(s,a) ← Q(s,a) + α [r + γ · max_{a'} Q(s',a') − Q(s,a)]

这个公式初看起来抽象，拆开讲就很好理解。你在状态 s 执行了动作 a，环境给你奖励 r，并跳到状态 s'。此时你想知道“我在 s' 还能拿到多大收益”，最乐观的估计是 s' 下所有动作里 Q 值最大的那个，也就是 max 项；把即时奖励 r 和未来收益的折扣 γ·max 加在一起，就是“这一步的理想目标值”。当前 Q 值和这个目标值之间的差距叫 TD 误差，α 控制以多大步伐缩小这个差距。

Q-Learning 之所以叫 off-policy，是因为 max 操作是脱离当前执行策略的。哪怕你在 s' 处真正会执行动作 a'，更新时也假装这个动作不存在，只看天花板。这是优点也是隐患：优点是不会被策略的随机性拖慢收敛，缺点是早期 Q 表不准的时候，max 会引入过估计，导致调度策略过于激进。我在微电网项目里就踩过这个坑，下面第 5 章会细讲。

2.2 SARSA(λ) 与资格迹机制

SARSA 的更新公式长这样：

Q(s,a) ← Q(s,a) + α [r + γ · Q(s',a') − Q(s,a)]

注意区别就在最后一项：这里是 Q(s',a')，也就是你在 s' 实际执行的动作 a' 对应的 Q 值，而不是 max。所以 SARSA 学出来的策略会考虑“我的策略本来就会这么干”的现实，不会用想象中的最好情况给自己画饼。这让你用 ε-greedy 做动作选择时，所有被探索过的、可能踩坑的动作都会真实反映在 Q 值里，策略自然更加稳健。

SARSA(λ) 在此基础上引入资格迹 E(s,a)，更新的核心就是两个公式：

• 更新资格迹：E(s,a) ← γ·λ·E(s,a) + 1（当你访问过 (s,a)）
• 更新 Q 值：Q(s,a) ← α·δ·E(s,a)，其中 δ = r + γ·Q(s',a') − Q(s,a)

资格迹可以理解为“记忆最近访问过的状态动作对”的痕迹。每走一步，所有资格迹先按 γ·λ 衰减一次，当前访问的这个 (s,a) 的迹加 1。这样在每一步 TD 误差出现时，误差不只是修正当前状态动作对，还会按资格迹的大小回溯修正之前一连串访问过的状态动作对——近期频繁访问的修得多，久远访问过的修得少。直观理解就是，你发现晚走一步会踩坑，不仅当下要改，之前那些把它一步步带到坑边的决策也要一起负责。

λ 取值直接影响训练行为。λ 太小，回溯范围太小，信息传播慢；λ 太大，历史轨迹影响太远，方差大、收敛震荡。在微电网这类离散时步、时序性很强的环境里，我建议从 λ=0.7 到 0.9 开始调，后面 4.3 节会有具体记录。

2.3 探索与利用的平衡：ε-greedy 策略

强化学习里有个经典两难：你到底是按照目前已知的最优策略继续开发，还是去尝试那些没试过的动作看看有没有意外收获？前者叫利用，后者叫探索。

ε-greedy 是最朴素也最实用的折中方案：以概率 ε 随机选一个动作（探索），以概率 1−ε 选当前 Q 值最大的动作（利用）。ε 的设定直接决定训练效果。我见过很多新手把 ε 固定设为 0.5，结果训练几万步 Q 表还在剧烈波动，因为后期还在大量随机探索，已经学到的好策略被反复破坏。

我常用的做法是 ε 衰减。比如训练 10000 步，ε 从 0.9 线性衰减到 0.05，前 20% 的步数用来充分探索环境，中段逐渐减少随机动作，后 60% 基本固定到利用阶段，让 Q 值稳定收敛。下面这段就是我在微电网训练主循环里用的衰减逻辑，你可以直接抄走。

epsilon = 0.9; epsilon_min = 0.05; epsilon_decay = 10000; % 衰减到最小值所需步数 ... if rand < epsilon action = randi(nA); else [~, action] = max(Q(state_idx, :)); end % 每步衰减 epsilon = max(epsilon_min, epsilon - (0.9 - 0.05) / epsilon_decay);

3. 面向4节点微电网的求解器设计

3.1 状态空间：怎么把连续量离散化

做基于表格的 Q-Learning，第一件事就是把连续状态离散成有限个状态组合。4 节点微电网里，我选了三个最关键的状态变量：

• 负荷需求等级，分 5 档
• 光伏出力等级，分 4 档（包含 0，也就是夜间场景）
• 储能 SOC 百分比，按 10% 一个间隔分成 10 档

把三者的档位数相乘，状态总数是 5 × 4 × 10 = 200，这个规模对 Q 表来说非常轻松。一开始我贪心，把负荷分成 20 档，SOC 分成 50 档，结果状态数量直接破 4000，训练数据被稀释得非常厉害，收敛速度肉眼可见地变慢。后来果断压到 200 个状态，效果反而好了不少。

状态离散化的粒度是个权衡：分得太粗，策略不够精细，SOC 的 10% 粒度会让储能没法精准“卡”在合理的充放电区间；分得太细，每个状态访问次数太少，Q 值估计方差大。我的建议是先粗跑通全流程，然后根据训练曲线逐步加密关键变量的分档数。特别是 SOC 这种动态范围大、直接影响后续决策的变量，优先级最高。

3.2 动作空间：控制在什么粒度

动作空间的设计直接影响最终调度的可操作性。我的做法是把每个时步的决策拆成两个子动作的组合：储能动作和柴油机动作。

储能动作有三档：充电 10kW、放电 10kW、待机 0kW。柴油机动作设四档：停机、20kW、40kW、60kW 出力，对应三台规格不同的机组组合。两者组合起来总共 3 × 4 = 12 个动作。这个动作粒度是我试出来的折中方案——再细，比如储能做成 5% 功率连续档位，动作数翻倍，Q 表更新压力骤增；再粗，比如柴油机只分启停两档，很多场景下找不到满足负荷平衡的解。

有一件事必须提前想清楚：动作一旦执行，功率平衡方程必须能闭合。也就是说，如果光伏加储能加柴油机加购电不够供给负荷，剩下的缺额就要靠从主网购电来填；如果供给超过负荷，超额部分只能卖给主网或者弃掉。你在设计动作空间时，不能设计一个“永远无法满足约束”的动作组合却不设惩罚，否则智能体会学到一堆投机取巧的坏习惯。

3.3 奖励函数：成本与约束如何捆绑

奖励函数是强化学习的“指挥棒”，设计得好不好，直接决定智能体学出来的调度策略像不像一个经验丰富的调度员。我这套系统里奖励函数包含四个分量：

r = −(C_fuel + C_grid + C_battery + P_penalty)

第一项 C_fuel 是柴油机燃料成本，用二次函数拟合：C_fuel = a·P_dg^2 + b·P_dg + c，其中 P_dg 是当前时步柴油机出力。用二次项主要是模拟机组在偏离最优工况点时效率下降的现实。第二项 C_grid 是购电成本，按峰谷电价计算，逆潮流时就是卖电收益，符号为负，相当于奖励。第三项 C_battery 是储能充放电的损耗成本，按功率和电池单价折算。

最有讲究的是第四项 P_penalty，也就是约束惩罚项。我把三类违规统一处理成惩罚加进奖励：

• SOC 越界：低于 10% 或高于 90% 时，按越界幅度线性惩罚
• 功率不平衡：如果动作组合导致供需失衡超过允许范围，直接给一个很大的负值
• 柴油机频繁启停：每次状态切换加一笔惩罚

这里要特别提醒：如果惩罚值远大于正常成本数值，Q 表里所有和惩罚沾边的状态动作对都会迅速变成“不能碰”的死区，训练初期看起来学得很快，但后续调参会变得非常不敏感；如果惩罚值太小，智能体可能会为了省一点油钱频繁越界。建议惩罚数值控制在正常成本量级的 2 到 5 倍之间，先用最大惩罚把严重违规堵住，再逐步放宽。

3.4 环境模拟器的实现思路

强化学习环境模拟器是整套代码的地基。我在 Matlab 里用一个名为 microgrid_step 的函数模拟一个时步的电网运行，函数签名的思路如下：

function [next_state, reward, done] = microgrid_step(state, action, param) % state 包含 [load_level; pv_level; soc_level] % action 包含储能动作与柴油机动作的索引 % 根据动作计算实际功率、成本、SOC变化 % 返回下一状态、奖励、是否结束 end

这个函数内部先做功率平衡计算，算出联络线购电/售电功率，再算柴油机成本和购电成本，接着更新 SOC，最后计算各类惩罚并汇总奖励。还有一个关键点是训练时要用“真实”的负荷和光伏序列来驱动环境，而不是用同一个随机序列反复训练。我做法是准备一段 24 小时、以 15 分钟为步长的历史数据，共 96 个时步，每轮 episode 从一个随机偏移点开始切片，这样能避免智能体“背题”。

4. Matlab 代码实现与训练过程

4.1 核心训练主循环框架

下面是我在这套项目里实际跑通的训练主循环骨架，保留了关键逻辑，方便你对照自己的环境改。

%% 初始化 Q 表：状态数 x 动作数 Q = zeros(nS, nA); E = zeros(nS, nA); % 资格迹表（仅SARSA(lambda)用） alpha = 0.1; % 学习率 gamma = 0.95; % 折扣因子 lambda = 0.85; % 资格迹衰减系数（SARSA lambda用） for episode = 1:maxEpisodes state = resetEnvironment(); % 随机初始化一个调度时段的起点状态 % ---- SARSA(lambda): 每个episode开始时清空资格迹 ---- E = zeros(nS, nA); % 第一步选择动作 action = epsilonGreedy(Q, state, epsilon); for t = 1:stepsPerEpisode [next_state, reward, done] = microgrid_step(state, action, param); next_action = epsilonGreedy(Q, next_state, epsilon); % ---- Q-Learning 更新 ---- [~, max_next_action] = max(Q(next_state, :)); td_target = reward + gamma * Q(next_state, max_next_action); td_error = td_target - Q(state, action); Q(state, action) = Q(state, action) + alpha * td_error; % ---- SARSA(lambda) 更新（可以和 Q-Learning 分开展示）---- td_target_sarsa = reward + gamma * Q(next_state, next_action); td_error_sarsa = td_target_sarsa - Q(state, action); E(state, action) = E(state, action) + 1; Q = Q + alpha * td_error_sarsa * E; E = E * gamma * lambda; state = next_state; action = next_action; if done break; end end end

这段代码里 Q-Learning 和 SARSA(λ) 的更新都写在同一个循环里，实际跑的时候建议分开写两个版本，不然 Q 表会被两边同时更新干扰。你拿到完整代码后会看到我把两个算法封装成了两个独立的训练函数，方便对比实验。

4.2 两种算法的训练对比实测

我用同一套环境、同一组随机种子分别训练两种算法，各跑了 3000 个 episode。收敛曲线差异非常明显。Q-Learning 在前 500 个 episode 内平均奖励快速攀升，但中后期有小幅波动，像是不断在探索新的动作组合；SARSA(λ) 前期爬得慢一些，但一旦接近收敛，曲线就非常平稳，最终收敛到的平均奖励值略高于 Q-Learning。

下面这张表是我记录的一组典型收敛数据，横轴是训练 episode 数，纵轴是最后一个测试 episode 的平均单时步成本（单位是元，数值经过脱敏处理，只反映量级）。

3000 个 episode 之后 Q-Learning 出现了轻微退化，我猜是因为 ε 衰减到 0.05 之后，Q 表里那些早期被高估的值没有足够的探索来修正。SARSA(λ) 没有这个问题，它的 on-policy 特性天然压制了持续过估计。如果你追求稳定性，SARSA(λ) 明显更让人安心。

4.3 超参数调优心得

调参这一步最花时间，也是强化学习新手最容易劝退的地方。我把关键参数的经验范围整理成表格，都是我实测后的结论。

α 和 λ 的交互效应值得单独说。α 过大时，资格迹会把 TD 误差放大回传到多个状态动作对，SARSA(λ) 会出现明显的过冲震荡；α 过小时，资格迹的加速效果就体现不出来。我建议调 λ 时先把 α 固定，画一条不同 λ 的收敛曲线，找到震荡和速度的平衡点后，再动 α。

还有一个参数容易被忽略：单 episode 的长度。我按 15 分钟一个时步、24 小时一个周期，设成 96 步。但实际训练中发现，早期 episode 太长，很多无意义的动作组合会被反复尝试，浪费大量计算。后来在训练初期把 episode 截断到 48 步，等 Q 表有一定基础后再逐步拉长，整体训练时间反而缩短了约 30%。

5. 常见问题与排查技巧实录

5.1 Q 表不收敛，一直震荡怎么办

这是我在微电网项目里遇到最多的一个问题。Q 表练到一半，平均奖励曲线像心电图一样上下抖，怎么都不肯稳定。排查顺序建议按下面三条来。

先查奖励函数量纲。如果你把柴油机成本、购电成本、惩罚项的量级混在一起，比如成本是 1 到 100，惩罚是 10000，那智能体在前期根本感知不到成本差异，只会疯狂躲避惩罚，策略表现自然震荡。我的解决手段是把所有奖励分量归一化到相似量级，比如成本除以基准成本 100，惩罚除以基准惩罚 300，让它们在数字上“平权”。

再查 ε 是否衰减到位。如果 ε 一直保持 0.3 以上，后期每三步就随机乱走一步，再好的 Q 表也会被污染成噪声。我习惯在训练日志里打印每个 episode 的 ε 值，确保它确实降到了预设的 0.05 附近。

最后查学习率和资格迹是否有冲突。SARSA(λ) 场景里，α 和 λ 都偏大时，资格迹回溯带上大量噪声，震荡几乎无法避免。先把 λ 降到 0.5 跑一轮，如果曲线立刻平稳，就说明问题出在这对参数组合上。

5.2 智能体学“歪”了：发现一个奇怪的最优策略

有一次训练完，我复盘最优策略，发现智能体特别喜欢在电价低谷时段把储能充满，然后在电价高峰时段同时放电并启动柴油机满发——理论上售电收益确实最大，但现实中这会带来巨额的电池寿命损耗，而且柴油机满发的噪音和排放也不可接受。问题出在奖励函数里电池退化成本的权重太低了，惩罚形同虚设。

这个教训让我养成一个习惯：每训练完一版，一定要抽取几条典型日曲线，把储能 SOC 轨迹、柴油机出力轨迹、购电功率轨迹画出来，和人工调度经验对照。如果机器学出来的策略里有“人一看就觉得不靠谱”的操作，不用怀疑——一定是奖励函数哪里没设计对。比如储能频繁满充满放，说明电池损耗权重不够；柴油机频繁启停，说明启停惩罚设得太低。

5.3 λ 取值对训练效果的实际影响

我自己感受最深的是 λ 从 0 到 1 的变化曲线。λ=0 时，SARSA 每一步只看当下，信息传播慢，2000 个 episode 还没完全收敛；λ=0.9 时，单个错误决策会影响到之前十几步的状态动作对，前期收敛明显更快，但 Q 表的方差也上来了；λ 超过 0.95，稀疏奖励环境下训练直接“炸掉”，奖励曲线剧烈震荡，因为一条轨迹上的所有状态动作对都被高频修正，噪声被不断放大。

所以在稀疏奖励的微电网环境里，我建议 λ 不要超过 0.9。如果你发现某个 λ 值下训练又快又稳，可以先记录下来，再微调 α 配合，这种“双参数协同”的效果经常会出现 1+1>2 的惊喜。

5.4 状态离散化导致的决策精度瓶颈

用 200 个状态的表格方法，最终调度精度一定会被离散粒度卡住。比如 SOC 只分 10 档，储能很难精准在 SOC 68% 的时候停止放电，因为 68% 这个值根本不在状态空间里。我曾经因此试过把所有状态分档翻倍，结果训练时间暴涨，收益却不大。

这个问题的性价比解法是分阶段：先用粗粒度跑通并验证奖励设计，再根据 SOC 轨迹分析哪些状态区间最常被访问，只对这些区间加密分档。比如储能经常在 40%~70% 区间内活动，就把这个区间从 10% 粒度细分到 5%。这种“局部加密”比全局翻倍分档能节省大量训练成本。

6. 扩展方向与个人经验总结

这套 4 节点系统跑通之后，你完全可以往两个方向扩展。一是把 Q 表换成深度网络，用 DQN 或 Double DQN 处理连续状态，这样就不用手动离散化，SOC、负荷、光伏可以以连续值直接输入网络，调度精度会显著提升。二是把单目标成本优化扩展成多目标，比如同时考虑碳排放约束和用户满意度，在奖励函数里增加对应的加权项。我建议你在动手做扩展之前，先把当前这套表格方法彻底吃透，因为无论是 DQN 的值网络设计，还是多目标奖励加权，基础思路和踩坑经验都是一脉相承的。

最后分享一点我的切身体会。做强化学习项目，最有价值的部分从来不是调那几个公式，而是把环境模拟器、状态空间、动作空间、奖励函数这四个模块精准对应到你的实际问题。我见过太多人一上来就调各种参数，却对“状态为什么要选这三个变量”“动作为什么要离散成 12 档”这类根本问题含糊不清。把这套面向 4 节点微型电网的完整代码拿下之后，建议你自己动手改一个变量——比如把负荷分档从 5 档改成 8 档，或者把 λ 从 0.85 改成 0.95——然后对比训练曲线。这种亲手做出来的对比经验，比看十篇教程都管用。