HVAC强化学习控制器实战：从PID到DDPG的能耗优化全记录

简介：HVAC_RL是一套基于MATLAB平台的强化学习HVAC控制器实现方案，面向建筑自动化、智能控制领域的研究者与工程师，聚焦电加热器控制策略的优化。项目融合Q学习与SARSA(λ)两种经典算法，并结合EnergyPlus虚拟环境模拟建筑热动态，使代理能依据室内外温度、功率消耗等状态实时调整控制动作，用于解决节能性与舒适性的平衡问题。压缩包共31个文件，含13个mat数据/模型文件、10个m脚本、3个idf建筑能耗模型以及md说明与prj工程文件等，整体约8.7MB，结构清晰便于部署复现。目前已有406人学习，适合具备一定RL与MATLAB基础、希望将强化学习落地到HVAC场景的读者参考。通过实际代码与能耗模型，读者可掌握Q学习/SARSA(λ)的迭代实现、EnergyPlus联合仿真流程以及RL控制器的调参思路，为后续智能楼宇研究提供可扩展的起点。

1. HVAC强化学习控制器：为什么PID调得再好也架不住能耗这道坎

暖通空调控制里有个反复出现的尴尬：PID参数调得再稳，能耗指标也不一定好看；等到想上模型预测控制，又发现现场建模成本高到劝退。在某个模拟项目X里，我们把强化学习（RL）控制器接上了建筑热模型，训练一个Agent代替PID去调节风机频率、冷水阀开度和送风温度设定值。效果不是玄学——同样的热舒适约束，能耗比基线PID低15%到22%，但代价是回报函数设计、状态量归一化、动作平滑这三块差点把我折磨到放弃。这篇笔记就是这套HVAC_RL实现的全过程：环境怎么搭、Agent怎么选、参数怎么改、坑在哪儿。适合手里有建筑能耗模型、想把RL从论文搬到工程的开发者。

2. 先把RL环境立起来：状态空间、动作空间与回报函数

2.1 从物理模型到仿真环境的关键一步

RL训练的前提是有一个能反馈状态和回报的环境。真实建筑没法拿来反复试错，所以我一般先把房间简化成二阶RC热网络模型：墙体作为一个热容节点，室内空气作为另一个热容节点，两者之间通过热阻连接。这个模型不算精细，但足够捕捉暖通空调系统最核心的热惯性，训练出来的策略迁移到更精细的仿真环境里也不至于完全失效。

热模型的微分方程可以写成下面这样，输入是室外温度、太阳辐射得热、室内热负荷以及制冷量：

function dTemp = hvacThermalODE(x, u, p) % x: 室内温度、墙体温度 % u: 制冷量、送风温度 % p: 模型参数结构体 C_in = p.C_in; C_wall = p.C_wall; R_wall = p.R_wall; T_out = p.T_out; Q_solar = p.Q_solar; Q_ih = p.Q_ih; dTemp = [ ... ( (x(2)-x(1)) / R_wall + Q_solar + Q_ih - u(1) ) / C_in; ... ( (T_out - x(2)) / R_wall - (x(2)-x(1)) / R_wall ) / C_wall; ... ]; end

这段代码里，室内空气热容量C_in决定降温速率，墙体热容量C_wall决定热量在墙体里的惰性，R_wall是墙体等效热阻。制冷量u(1)以负号进入室内空气的能量平衡方程，数值越大降温越快。模型采用15分钟采样步长，一天96个步长，一个episode正好模拟全天。

2.2 状态量与动作量的取舍：别让Agent消化冗余信息

很多做RL环境的时候恨不得把所有传感器数据都塞给Agent，结果状态空间膨胀，训练难度指数上升。我在这套HVAC_RL里只保留了六个状态量：室内温度、室外温度、墙体温度、送风温度、太阳辐射预测、实时电价。

有人会问为什么不放人数、窗户开关状态、CO₂浓度。经验是：人数和窗户状态这类量要么难以实时获取，要么模型本身就没建模，引入粗糙的估算反而会干扰策略学习。比如项目里一开始把人数动态放进状态空间，可模拟数据是拿占用率表格生成的，跟真实场景的随机性差得很远，训练出来的策略在实测数据上偏差特别明显。状态量宁少勿多，前提是它们直接决定热平衡。

动作空间我选了三个连续量：风机频率（0到1）、冷水阀开度（0到1）、送风温度设定值（12到18度）。为什么不用离散动作？如果把风机频率分成10档、阀开度分成5档，组合出来是50个离散动作，虽说不算多，但RL Agent需要逐个探索，效率低；连续动作空间配合DDPG这类Actor-Critic算法，探索效率明显高。而且现场执行器本身就是连续信号，连续动作直接映射到控制信号，省掉一层离散化。

2.3 回报函数设计：稳定与节能的博弈

回报函数是整个强化学习里最容易翻车的环节。我见过不少项目把温度偏差和能耗简单相加，结果Agent学会把室内温度推到舒适区边缘来省电，看似合理，实际上为了拿一点点节能收益牺牲了太多热舒适。我习惯用一个平方偏差项，让越界时惩罚增长速度远超小偏差：

function reward = computeReward(Tin, Tset, energy, deltaAct) % Tin: 当前室内温度 % Tset: 温度设定值 % energy: 本步消耗的冷量（kW） % deltaAct: 动作变化量（风机频率、阀开度、送风温度设定） tempPenalty = (Tin - Tset)^2 * 0.05; energyPenalty = energy * 0.10; actPenalty = sum(deltaAct.^2) * 0.02; reward = -(tempPenalty + energyPenalty + actPenalty); end

三个权重的语义要拎清：tempPenalty的系数0.05保证温度偏差1度时产生0.05的惩罚，这个量级下Agent愿意为舒适付出一定能耗；energyPenalty的0.10让1kW能耗对应0.1的惩罚，和温度偏差惩罚基本处于同一量级，Agent才不会彻底倒向某一目标；actPenalty的0.02是后来加上去的，不加的时候动作序列频繁跳动，加上之后策略明显平滑。整个回报恒为负值，RL的目标就是让负值尽量接近0，所以回报曲线直接看上升方向和收敛程度就行。

实际调整的规律是：如果训练结果能耗下来了但温度越界很严重，就把tempPenalty系数往上调；如果温度控得很好但能耗偏高，就调高energyPenalty。这个回报函数在训练中没有稀疏问题，每个步长都能拿到即时反馈，比那种只在一个episode结束时给总回报的设计好训得多。

3. MATLAB强化学习工具箱：从环境封装到Agent选型

3.1 环境封装：继承rl.env.MATLABEnvironment的骨架

MATLAB强化学习工具箱要求环境类继承rl.env.MATLABEnvironment，核心实现reset和step两个方法。reset负责初始化状态并返回观测值；step接收动作、更新热模型、计算回报，并把下一状态返回给训练循环。下面是环境类的骨架：

classdef HVACEnv < rl.env.MATLABEnvironment properties State StepCount = 0 MaxSteps = 96 ModelParams end methods function this = HVACEnv() obsInfo = rlNumericSpec([6 1], ... 'LowerLimit', [16; -10; 10; 10; 0; 0], ... 'UpperLimit', [35; 45; 40; 30; 2000; 2]); actInfo = rlNumericSpec([3 1], ... 'LowerLimit', [0; 0; 12], ... 'UpperLimit', [1; 1; 18]); this = this@rl.env.MATLABEnvironment(obsInfo, actInfo); this.ModelParams = loadHVACParams(); end function [obs, rew, isDone, lg] = step(this, action) % 用上一步的状态和当前动作推进热模型 u(1) = action(1) * 50; % 风机频率映射到制冷量 u(2) = action(3); % 送风温度设定 this.State = ode15s(@(t,x) hvacThermalODE(x, u, this.ModelParams), ... [0 900], this.State); obs = this.State(end, :)'; rew = computeReward(this.State(end,1), 24, ... this.currentEnergy(action), action - this.lastAction); this.lastAction = action; this.StepCount = this.StepCount + 1; isDone = this.StepCount >= this.MaxSteps; lg = struct(); end function [obs, lg] = reset(this) this.State = [24; 24; 24]; % 室内温度、墙体温度初始值 this.StepCount = 0; this.lastAction = [0.5; 0.3; 16]; obs = this.State; lg = struct(); end end end

注意ode15s求解器适合刚性问题，建筑热模型里墙体和空气的时间常数差两个数量级，用固定步长Euler法容易发散。LowerLimit和UpperLimit必须跟状态量的物理边界完全一致，如果状态越界工具箱会直接报错。StepCount建议放在属性里每次reset清零，否则训练多个episode时计数累加会导致episode异常终止。

3.2 DQN、DDPG、PPO选型对比

动作空间是连续三个量，DQN无法直接处理，必须做离散化或改用变体，所以第一轮就排除了。剩下DDPG和PPO各有优势，我两套都跑了对比：

最终选了DDPG。原因是建筑能耗优化场景里每一步都有明确的温度反馈，时序差分信号质量高，回放缓冲区能反复利用历史数据，避免PPO那种必须不断重新采样的开销。DDPG最烦的是超参敏感，尤其是探索噪声和Actor学习率，下面一节专门说。

3.3 训练循环与超参数到底管什么

MATLAB里训练DDPG只需配置Agent选项后调用train。关键是这些参数别照抄默认值，得结合15分钟采样步长来定：

criticOpts = rlOptimizerOptions('LearnRate', 1e-3, 'GradientThreshold', 1); actorOpts = rlOptimizerOptions('LearnRate', 1e-4, 'GradientThreshold', 1); agentOpts = rlDDPGAgentOptions('SampleTime', 900, ... 'DiscountFactor', 0.99, ... 'TargetSmoothFactor', 1e-3, ... 'ExperienceBufferLength', 1e6, ... 'MiniBatchSize', 128, ... 'ActorOptimizerOptions', actorOpts, ... 'CriticOptimizerOptions', criticOpts); agent = rlDDPGAgent(getObservationInfo(env), getActionInfo(env), ... actor, critic, agentOpts); trainOpts = rlTrainingOptions('MaxEpisodes', 200, ... 'MaxStepsPerEpisode', 96, ... 'StopTrainingCriteria', 'AverageReward', ... 'StopTrainingValue', -1200); trainStats = train(agent, env, trainOpts);

SampleTime设置为900秒，与热模型仿真步长保持一致，否则训练逻辑里时间步跨越会出现状态更新不连贯。DiscountFactor取0.99意味着Agent对未来24步（6小时）内的收益权重仍然超过0.78，这个时间跨度对于一个慢热系统来说刚好；取0.9会让Agent只看未来3小时，容易短视。TargetSmoothFactor是DDPG软更新系数，1e-3意味着目标网络缓慢跟随，起到稳定学习的作用，调太高策略容易震荡，调太低则收敛太慢。

MiniBatchSize=128是经验值，太小梯度噪声大，太大每步更新耗时明显上升。GradientThreshold加了个梯度裁剪，实测能杜绝偶尔出现的损失爆炸。StopTrainingValue别指望收敛到0，回报函数里有能耗和动作惩罚，负值收敛到某个平台期才是正常现象。

4. 训练与评估：五个必须盯住的指标

4.1 累计回报曲线：别被单次episode波动骗了

训练过程中回报曲线上下剧烈抖动是正常的，尤其DDPG前期探索噪声大的时候。我习惯不看单条曲线，而是看最近20个episode的滑动平均。如果滑动平均持续上升然后进入平稳段，说明策略在逐渐改善；如果某个episode突然断崖式下降，通常是探索噪声过大导致控制动作超出执行器能力边界。

回报收敛的值不是越高越好，因为回报函数本身是人为设计的加权和。收敛曲线只能说明Agent找到了这个加权目标下的局部最优策略，至于这个策略是否实用，要看下面四个指标。

4.2 温度越界比例：舒适性约束不能靠惩罚碰运气

回报函数里温度偏差是平方惩罚，但平方项对小幅越界很宽容。跑完训练后单独算一下越界比例，以室内温度设定24度、允许偏差正负1度为例：

% Tin为训练或验证阶段的室内温度序列 belowLow = mean(Tin < 23) * 100; aboveHigh = mean(Tin > 25) * 100; violation = belowLow + aboveHigh;

这个比例应该控制在3%以内才算舒服。我看到过不少策略训练时回报值很好，但算出来越界比例超过15%，基本等于Agent学会了用大范围温度波动来换能耗下降。这类策略绝对不能直接上线。

4.3 能耗统计：和基线PID对比才说明问题

能耗统计要把累计冷量、风机功率、水泵功率分开统计。MATLAB里用cumsum按时间步累加，然后除以这个episode的时长得到平均功率。对比时选同一组气象数据和负荷曲线分别跑PID和RL策略，两者温差范围必须接近，比能耗才有意义。

我曾经犯过对比条件不一致的错误：PID跑的时候室外温度比较温和，RL跑的时候正好遇到高温天气，能耗反而更高，一度以为策略废了。后来统一用同一份CSV气象文件驱动两个策略，对比才有信度。建议固定室外温度、太阳辐射、内部负荷三条输入曲线后再做横向对比。

4.4 动作平滑度：执行器寿命扛不扛得住

DDPG的Actor网络没有内置平滑约束，策略可能在相邻两个步长里把风机频率从0.2直接跳到0.9，执行器每15分钟被猛抽一下。我计算的指标是相邻动作差的绝对平均值：

smoothnessF = mean(abs(diff(actions(:,1)))); smoothnessV = mean(abs(diff(actions(:,2))));

风机频率的diff绝对值平均超过0.15就说明策略抖得离谱，长期运行会导致风阀执行器电机过热。这个指标不理想时，优先回回报函数里加actPenalty，再不行就在环境里给动作加一阶惯性滤波。

4.5 回放缓冲区诊断：提高采样多样性

DDPG依赖经验回放，如果回放缓冲区里全是某个温度区间的样本，策略就会被带偏。我一般把回放缓冲区按室内温度切分统计样本分布，比如16到21度、21到24度、24到28度、28到35度四段。某个区间样本占比超过70%就要警惕：Agent可能只在高温工况下学到了控制经验，低温工况完全没覆盖。

这类问题的根源通常是初始状态固定或场景数据单一。解决方法是让reset里的室内温度在一定范围内随机初始化，并在气象数据里按季节抽取不同片段，让回放缓冲区覆盖全年工况。

5. 落地避坑：训练发散、策略僵化与实控漂移的排查

5.1 回报曲线爆炸：状态量量纲炸弹

现象：训练到十几个episode，回报值突然变成NaN，或者曲线剧烈震荡，温度和动作输出明显异常。

原因：状态量之间数量级差距过大。比如室内温度在20到30之间波动，而太阳辐射可以达到2000，如果没归一化，神经网络输入层接收到量纲差异巨大的信号，梯度更新时被大数值特征主导，小量纲特征完全学不到。MATLAB的rlNumericSpec有上下限，但上下限设置过宽同样会导致数值不稳定。

解决：把每个状态量显式做归一化。我在环境封装里加了一步：obsNorm = (obs - obsMin) ./ (obsMax - obsMin)，把六个状态全部映射到0到1区间再输出给Agent。训练代码里Actor输出层用sigmoid激活，保证动作天然落在0到1，再乘以物理上限还原成真实控制信号。

5.2 Agent躺平：回报稀疏导致的策略僵化

现象：训练结束时策略几乎不动作，动作输出恒定在初始值附近，室内温度稳定在舒适区间内，但能耗一点没优化。

原因：回报函数中温度偏差惩罚权重过大，Agent发现只要把温度稳稳控住，能耗惩罚的影响可以忽略，于是学会了“不作为”。这种策略回报值不差，但完全违背了节能目标。

解决：降低tempPenalty系数，同时给能耗项设置分段阈值。我后来把能耗项改成阶梯式惩罚，制冷量低于某个值时惩罚系数减半，高过某个值时惩罚加倍，强迫Agent去探索低能耗动作区域。另一种办法是在训练初始阶段提高动作探索噪声标准差，让Agent更早接触到省电的控制方式。

5.3 动作抖得像心电图：缺少平滑惩罚

现象：风机频率在第46步是0.3，第47步跳到0.85，第48步又回到0.35，动作序列曲线像锯齿。执行器在模拟环境里看不出问题，现场运行早就过热保护了。

原因：回报函数没有动作变化惩罚，DDPG的Actor倾向于根据当前状态瞬时调整动作，完全没考虑机械惯性成本。空调系统里风阀和水阀的执行器都有启停寿命限制，频繁大幅度动作是硬伤。

解决：在环境step里对动作加一阶低通滤波，让实际执行的动作用上一时刻动作加平滑项组合出来：actActual = 0.8 * action + 0.2 * lastAction。同时回报函数里保留actPenalty项。我实测加了这层滤波后，动作平滑度指标从0.3降到0.05以下，温度控制的衰减在0.3度以内，完全可以接受。

5.4 仿真效果好、实控变差：训练-评估分布漂移

现象：在训练仿真环境里温度偏差不超过0.5度，能耗也漂亮；切换成真实气象数据或带上传感器噪声后，策略完全失灵，室内温度忽高忽低。

原因：训练时用的气象数据和负荷曲线过于“干净”，状态分布太窄。Agent没见过室外温度35度同时太阳辐射极低的组合，或者突然涌入大量内部负荷的工况，此时神经网络外推能力有限，输出动作就会偏离合理范围。

解决：训练时给状态加扰动，室外温度加正负1度的高斯噪声，太阳辐射按10%的比例做随机缩放，内部负荷在额定值基础上叠加阶跃信号。对抗式扰动训练会牺牲一部分平均回报，但大大提升了策略在未见过工况下的鲁棒性。

5.5 每次训练结果不一样：随机种子与模型初始化

现象：相同的代码和参数跑三次，三次的策略行为差别很大，有一次温度越界2度，另一次温控很稳但能耗高了，没法判断到底哪个参数组合更优。

原因：神经网络权重初始化、探索噪声采样、经验回放的随机抽取都依赖随机数生成器。MATLAB里每次启动脚本默认随机种子不同，导致结果不可复现。

解决：训练脚本开头加rng(0)固定全局随机种子，并在环境类的reset方法里用独立的RandStream对象控制状态随机化。这样环境初始状态的随机性可以保留，但网络训练和采样路径完全可复现，调参时不同批次的训练结果才具备可比性。

6. 从MATLAB导出策略：部署到真实控制器前的最后一道工序

6.1 导出C代码与Python推理脚本

训练好的Agent不能一直在MATLAB里待着，真实控制器要么跑C，要么通过Python中间层调用。MATLAB的generatePolicyFunction可以把训练好的Agent导出为可直接调用的策略函数：

agent = load('trainedHVACAgent.mat', 'agent'); generatePolicyFunction(agent, ... 'MATFileName', 'trainedHVACAgent.mat', ... 'RelativePath', './deploy/hvac_policy');

生成后hvac_policy.m接收六维状态输入，返回三维动作输出，内部包含Actor网络的前向计算。如果目标平台是PLC或嵌入式控制器，先用coder.config('lib')配置代码生成选项，把策略函数编译成C代码，注意输入输出维度必须和rlNumericSpec定义的完全一致。

6.2 部署验证的四个检查点

部署前我强制走一遍检查序列：

其中归一化边界这个检查点最容易漏。导出策略函数内部通常自带归一化层，但如果你在环境里手动做了归一化而导出时没同步，线上状态输入没有归一化就直接进网络，输出完全不可用。我吃过一次亏，导出后发现动作始终饱和，排查了半天才发现是漏了归一化这一步。

6.3 回退机制与我的最后一条经验

即使策略通过了离线验证，第一天上线也要留一手。我在控制器里加了一个阈值回退模块：策略输出动作后，如果室内温度偏差持续15分钟超过3度，或者策略动作连续两次变化幅度超过0.5，立刻切换回原PID回路，同时记录策略动作日志。这个机制救了某次现场测试——策略在夜间把冷水阀开到了100%，室内温度掉到18度以下，如果不是回退模块兜底，那个晚上整个机房都要停摆。

从那以后，我每次训练完都强制走一遍导出-部署-回退的验证序列，宁可多花半天也不裸奔上线。RL在HVAC里的价值是真的，但它的边界也同样真实：回报函数决定策略性格，归一化决定训练成败，回退机制决定现场能不能睡好觉。希望帮到你。

本文还有配套的精品资源，点击获取