DDPG控制水箱MATLAB实战：从环境建模到训练避坑

简介这份资源面向强化学习入门者与控制方向的学生、工程师提供在MATLAB环境中用DDPG算法控制水箱系统的完整实现。DDPG属于Actor-Critic架构通过Actor网络生成连续动作策略、Critic网络评估状态动作价值配合经验回放与探索噪声完成训练可用于水位保持等连续控制任务。压缩包共2个文件包含1个slx与1个m文件整体约45KBSimulink模型负责搭建水箱物理系统、模拟水位与流量变化并输出奖励MATLAB脚本则实现网络结构、学习率、噪声策略与更新规则等核心逻辑。已有403人学习下载读者可据此理解强化学习与Simulink联合仿真的交互流程掌握参数调整与网络结构修改方法并在此基础上迁移到其他连续控制场景具备较强的工程参考价值。1. 水箱液位控制为什么总在“差不多”上翻车做过程控制的人大多碰过水箱液位这个被控对象两个水箱串起来进水阀开度决定流量出水靠重力液位高了溢出、低了抽空看着简单真上手调 PID 却总在“差不多”上翻车——超调压不住、稳态有静差、换个工况参数全废。DDPG 控制水箱 MATLAB 这套组合本质是用深度确定性策略梯度Deep Deterministic Policy Gradient替掉手调 PID让控制器自己从交互里学出一套连续动作策略。它解决的是非线性、时变、带约束的液位调节问题适合已经会搭 Simulink 模型、想往强化控制方向走一步的从业者。这篇不聊虚的从环境建模、奖励设计、训练脚本到踩坑一步步把能在本地跑通的路径讲清楚。2. 把水箱环境写成 DDPG 能吃的 MDP状态、动作、奖励怎么定强化学习落地第一道坎从来不是算法是环境。DDPG 是 off-policy、连续动作的算法它要求你把水箱系统抽象成标准的马尔可夫决策过程状态 s、动作 a、转移概率、奖励 r。这一步定错了后面网络再深、训练再久都是白搭。我一般会先在 Simulink 里把物理模型跑通再决定哪些量进状态、动作怎么限幅、奖励怎么给。2.1 水箱物理模型与离散化步长选择常见的水箱模型是双容水箱上水箱进水量由泵或阀控制下水箱靠连通孔出流目标是把下水箱液位稳在设定值。连续方程大致是 dh1/dt (qin - q12)/A1dh2/dt (q12 - qout)/A2其中 q12 与两水箱液位差相关qout 与 h2 相关。MATLAB 里可以用 ode45 积分也可以直接写离散差分。DDPG 训练通常用固定步长离散环境步长 dt 我一般取 0.1s 到 0.5s太小则单回合步数爆炸、训练慢太大则动作更新粗糙、容易震荡。经验值是让系统在设定值附近的开环响应时间落在 20 到 50 个步长之间。% 双容水箱离散环境核心一步简化版 function [nextState, reward, done] tankStep(state, action, dt, params) h1 state(1); h2 state(2); % action 为进水阀开度限幅在 [0,1] qin params.qmax * max(0, min(1, action)); % 连通孔流量与液位差平方根相关 q12 params.c12 * sqrt(max(0, h1 - h2)); % 下水箱出口流量 qout params.cout * sqrt(max(0, h2)); % 欧拉离散更新 h1_new h1 (qin - q12) / params.A1 * dt; h2_new h2 (q12 - qout) / params.A2 * dt; % 物理约束液位不能为负超过上限视为溢出 h1_new max(0, h1_new); h2_new max(0, h2_new); overflow (h1_new params.hmax) || (h2_new params.hmax); nextState [h1_new; h2_new]; % 奖励离设定值越近越高溢出重罚 err abs(h2_new - params.setpoint); reward -err - 10 * overflow; done overflow || (err 0.01); end这段代码的关键在三个地方。第一动作限幅必须做DDPG 输出的是无界连续值物理阀开度只有 0 到 1不限幅网络会输出离谱值导致数值爆炸。第二流量用平方根建模是水箱的常见做法比线性更接近真实但 sqrt 在液位差接近 0 时导数无穷大实际写的时候要加 max(0, ...) 防负数开方。第三done 条件我加了“误差足够小就提前结束”否则每回合都要跑满固定步数训练效率低。参数 qmax、c12、cout、A1、A2、hmax、setpoint 建议单独放一个 struct方便后面做域随机化。2.2 状态与动作维度别把无关量塞进去状态选什么是新手最容易贪多的地方。有人把 h1、h2、误差、误差积分、误差微分、上一时刻动作全塞进去维度上去了训练反而更难收敛。我的做法是状态至少包含 h2被控量和 h2 与设定值的误差如果系统耦合强再加 h1。动作就是进水阀开度一个标量。状态维度控制在 2 到 4 维动作 1 维这个规模用两层 64 或 128 神经元的网络足够不需要上大网络。% 状态构造只保留必要量 function s buildState(h1, h2, setpoint) err h2 - setpoint; % 归一化避免量纲差异导致网络训练不稳 s [h2 / 1.0; err / 1.0; h1 / 1.0]; end归一化这步很多人省掉结果就是网络对某一维特别敏感、对另一维几乎不响应。液位量程如果是 0 到 1 米直接除以 1 就行如果量程是 0 到 100务必先除到 0 到 1 附近。这不是玄学是梯度尺度问题。2.3 奖励函数设计稀疏奖励是训练不动的元凶奖励设计直接决定策略学成什么样。最朴素的是 -|err|但这样学出来的策略往往保守、响应慢。我一般用分段奖励误差大时给线性惩罚误差小时给二次惩罚加速收敛再加动作变化率惩罚抑制抖动。function r computeReward(err, prevAction, action, overflow) if overflow r -100; % 溢出重罚优先级最高 else if abs(err) 0.1 r -abs(err); % 远离设定值线性引导 else r -10 * err^2; % 接近设定值二次精细调节 end r r - 0.1 * abs(action - prevAction); % 抑制动作抖动 end end动作变化率惩罚这一项权重别给大0.1 左右就够。给大了策略会变得迟钝给 0 则阀会高频抖动实际执行机构受不了。溢出惩罚必须远大于其他项否则网络会学会“反正溢出也就扣一点不如冲快一点”的坏策略。3. 在 MATLAB 里搭 DDPG网络结构、超参和训练循环环境定了接下来是算法本体。MATLAB 从 R2019a 起在 Reinforcement Learning Toolbox 里内置了 DDPG agent不用自己从零写网络和更新逻辑但内置不等于开箱即用超参和接口细节照样能让你调一整天。这一章把 agent 创建、超参设置、训练循环和结果观察讲透。3.1 用 rlDDPGAgent 创建智能体四个网络的初始化DDPG 有四个网络Actor 当前网络、Actor 目标网络、Critic 当前网络、Critic 目标网络。Actor 输入状态输出动作Critic 输入状态动作对输出 Q 值。MATLAB 里用 rlContinuousDeterministicActor 和 rlQValueFunction 分别建再塞进 rlDDPGAgent。% 观测和动作维度 obsInfo rlNumericSpec([3 1]); % [h2; err; h1] actInfo rlNumericSpec([1 1], LowerLimit, 0, UpperLimit, 1); % Actor 网络两层全连接 actorNet [ featureInputLayer(3, Normalization, none) fullyConnectedLayer(64) reluLayer fullyConnectedLayer(64) reluLayer fullyConnectedLayer(1) tanhLayer % 输出限到 [-1,1] scalingLayer(Scale, 0.5, Bias, 0.5) % 映射到 [0,1] ]; actor rlContinuousDeterministicActor(actorNet, obsInfo, actInfo); % Critic 网络状态和动作分别输入后拼接 statePath [ featureInputLayer(3, Name, state) fullyConnectedLayer(64, Name, fc_state) reluLayer(Name, relu_state) ]; actionPath [ featureInputLayer(1, Name, action) fullyConnectedLayer(64, Name, fc_action) ]; commonPath [ concatenationLayer(1, 2, Name, concat) reluLayer fullyConnectedLayer(64) reluLayer fullyConnectedLayer(1, Name, qvalue) ]; criticNet layerGraph(statePath); criticNet addLayers(criticNet, actionPath); criticNet addLayers(criticNet, commonPath); criticNet connectLayers(criticNet, relu_state, concat/in1); criticNet connectLayers(criticNet, fc_action, concat/in2); critic rlQValueFunction(criticNet, obsInfo, actInfo);Actor 最后用 tanh 再 scaling 到 [0,1]这是处理有界动作的标准做法。如果你直接让网络输出无界值再在环境里 clip梯度会在边界处断掉学出来的策略在边界附近表现很差。Critic 的双输入结构别偷懒用单输入拼接分开编码再融合对状态动作交互的刻画更好实测收敛更稳。3.2 超参设置学习率、噪声、折扣因子怎么配DDPG 对超参敏感这是它被诟病最多的地方。下面这套是我在水箱这类慢过程对象上比较常用的起点。参数建议值说明Actor 学习率1e-4比 Critic 小一个量级防止策略更新过快Critic 学习率1e-3Q 值拟合需要更快跟上折扣因子 gamma0.99慢过程需要看得远别低于 0.95软更新 tau1e-3目标网络跟随速度太大训练震荡经验回放容量1e5太小样本相关性强太大早期样本拖后腿小批量大小64 或 128再大对这个小网络没收益探索噪声标准差0.3 起逐步衰减到 0.05早期多探索后期多利用agentOpts rlDDPGAgentOptions(... SampleTime, 0.1, ... DiscountFactor, 0.99, ... ExperienceBufferLength, 1e5, ... MiniBatchSize, 64); agentOpts.ActorOptimizerOptions.LearnRate 1e-4; agentOpts.CriticOptimizerOptions.LearnRate 1e-3; agentOpts.TargetUpdateFrequency 1; agentOpts.TargetSmoothFactor 1e-3; agentOpts.NoiseOptions.StandardDeviation 0.3; agentOpts.NoiseOptions.StandardDeviationDecayRate 1e-5; agent rlDDPGAgent(actor, critic, agentOpts);噪声衰减率 1e-5 是个经验值配合几千回合的训练标准差会从 0.3 慢慢降到 0.05 附近。衰减太快等于没探索太慢则后期还在乱试、稳态精度上不去。3.3 训练循环与训练曲线判读MATLAB 里训练用 train 函数指定最大回合数和每回合最大步数。训练过程中重点看两样每回合累计奖励和每回合步数。累计奖励上升、步数下降说明策略在学会更快把液位拉到设定值。trainOpts rlTrainingOptions(... MaxEpisodes, 2000, ... MaxStepsPerEpisode, 200, ... ScoreAveragingWindowLength, 50, ... StopTrainingCriteria, AverageReward, ... StopTrainingValue, -5, ... Verbose, false, ... Plots, training-progress); % 环境用前面写的 tankStep 封装成 rlFunctionEnv env rlFunctionEnv(obsInfo, actInfo, ... (action, loggedSignals) tankStepWrapper(action, loggedSignals), ... () resetTank()); trainingStats train(agent, env, trainOpts);训练曲线如果一直不涨先别怀疑算法按顺序查奖励尺度是不是太小全是 -0.001 级别的值梯度信号弱、状态归一化做了没、动作限幅对不对、done 条件是不是太容易触发导致回合太短。我见过最典型的翻车是 done 条件写成“误差小于 0.01 就结束”结果智能体学会故意不接近设定值因为一接近回合就结束、拿不到后续奖励。后来改成固定步数加超时结束才正常。4. 训练完不敢信验证、对比和部署前的三道检查训练曲线好看不代表策略能用。强化学习最坑的地方就是“训练时挺好一上真机就废”。这一章讲怎么验证、怎么和 PID 对比、以及部署前必须过的检查。4.1 用固定工况和扰动工况分别测验证不能只在训练用的工况上跑。我一般分两组一组是设定值阶跃看上升时间和超调一组是加出水扰动或进水压力扰动看抗扰恢复。每组跑多次取平均别拿一次结果下结论。% 验证设定值从 0.3 阶跃到 0.5 function metrics evaluateAgent(agent, params) obs resetTank(); totalErr 0; steps 0; overshoot 0; maxH2 0; for k 1:300 action getAction(agent, obs); % 验证时关闭探索噪声 [obs, ~, done] tankStepWrapper(action, obs); h2 obs(1); maxH2 max(maxH2, h2); totalErr totalErr abs(h2 - params.setpoint); steps steps 1; if done, break; end end overshoot max(0, maxH2 - params.setpoint); metrics.avgErr totalErr / steps; metrics.overshoot overshoot; metrics.steps steps; end验证时务必关掉探索噪声用确定性动作。有人忘了关测出来抖动大还以为是策略问题其实是噪声没停。4.2 和 PID 对比别只看稳态看动态和鲁棒性DDPG 不是万能很多工况下调好的 PID 照样能打。对比要公平同样的设定值变化、同样的扰动、同样的执行器限幅。我一般列一张表把上升时间、超调量、稳态误差、扰动恢复时间四项放一起看。指标调好的 PIDDDPG 策略说明上升时间8s6sDDPG 在非线性段响应更快超调量12%5%DDPG 能提前减速稳态误差0.0050.008PID 在稳态上反而更稳扰动恢复15s10sDDPG 抗扰恢复更快结论通常是DDPG 在动态性能和抗扰上占优稳态精度未必赢 PID。如果你的场景对稳态精度要求极高可以考虑 DDPG 加一个积分补偿或者干脆用 DDPG 输出前馈、PID 做反馈的混合结构。4.3 部署前的数值安全检查策略要上实际控制器前至少过三关。第一关动作输出范围检查跑一千步随机状态看动作是否始终在 [0,1] 内有没有 NaN。第二关极端状态检查把液位设到接近 0 和接近上限看策略输出是否合理会不会猛开猛关。第三关推理耗时检查MATLAB 里用 tic/toc 测单步推理时间如果超过控制周期的一半就得考虑简化网络或换部署方式。% 极端状态检查 testStates [0.01 0.01; 0.99 0.99; 0.5 0.01; 0.01 0.5]; for i 1:size(testStates, 1) s buildState(testStates(i,1), testStates(i,2), 0.5); a getAction(agent, s); fprintf(h1%.2f h2%.2f - action%.4f\n, ... testStates(i,1), testStates(i,2), a); assert(~isnan(a) a 0 a 1, 动作越界或NaN); end这一步能挡掉大部分“训练看着好、部署就崩”的情况。数值问题在仿真里往往被平滑掉一到真实控制器就暴露。5. 避坑与排查DDPG 水箱训练里最常见的五个坑这一章全是血泪经验每条按现象、原因、解决写。你训练卡住的时候大概率能在这里找到对应。5.1 累计奖励一直不涨曲线平的像一条线现象训练几百回合累计奖励在某个值附近小幅波动没有上升趋势。原因通常有三个奖励尺度太小导致梯度信号弱状态没归一化导致网络只对某一维响应探索噪声太大导致策略一直在乱试。解决先把奖励乘以一个放大系数比如 10 或 100看曲线有没有反应再检查状态各维数值范围是否都在 0 到 1 附近最后把噪声标准差从 0.3 降到 0.1 试几百回合。我遇到过最隐蔽的一次是奖励里溢出惩罚给了 -100但正常步奖励只有 -0.01 级别网络根本学不到正常步的差异把正常步奖励放大到 -1 级别才正常。5.2 策略学会了“摆烂”动作一直贴在边界现象训练完一看动作要么一直 0要么一直 1液位根本控不住。原因动作限幅用了 clip 而不是 tanhscaling梯度在边界断掉网络发现“贴边”能拿到的奖励和中间差不多就懒得动。解决Actor 输出层用 tanh 再 scaling 到目标范围保证边界处仍有梯度。另外检查奖励里有没有“动作越小奖励越高”的隐含项比如动作惩罚权重给太大网络会学会不动。5.3 训练后期突然崩掉奖励断崖下跌现象前一千回合好好的突然某回合开始奖励暴跌再也回不去。原因Critic 过估计导致 Q 值爆炸或者学习率太大导致参数更新发散。解决把 Critic 学习率降一个量级加梯度裁剪或者减小软更新系数 tau。MATLAB 里可以在 OptimizerOptions 里设 GradientThreshold。另外经验回放里如果混入了大量异常样本比如溢出时的极端状态也会带偏训练可以在回放时做优先级采样或直接过滤溢出样本。5.4 仿真里完美换一组参数就废现象训练工况下表现很好把水箱截面积或出口阻力改一点策略立刻失控。原因过拟合到单一工况状态里没有包含足够的工况信息或者训练时没做域随机化。解决训练时对关键参数做随机化每回合从一定范围内采样 A1、A2、cout 等让策略见到工况变化。状态里也可以加入工况的估计值。代价是训练变慢但泛化性会好很多。5.5 单步推理太慢上不了实时控制器现象仿真训练没问题但部署时单步推理超过控制周期。原因网络层数或神经元太多或者 MATLAB 解释执行开销大。解决先减网络规模两层 64 通常够用别上 256再把训练好的网络导出成 ONNX 或其他推理格式用更轻量的运行时执行。如果控制周期是 0.1s单步推理要压到 0.02s 以内才稳妥。6. 让 DDPG 真正好用的两个进阶技巧训练能跑通只是起点要让 DDPG 在水箱这类过程控制里真正好用还得在训练效率和策略稳定性上做文章。这里讲两个我反复用、收益明显的技巧。第一个是课程学习。一上来就让液位从 0 追到 0.8跨度太大智能体早期基本在乱撞。我的做法是把设定值从接近初始液位开始比如先学 0.1 到 0.2稳定后再逐步拉大跨度。实现上就是每 N 回合把设定值范围放宽一点。% 课程学习设定值范围随训练回合逐步放宽 function sp curriculumSetpoint(episode, maxEpisodes) progress min(1, episode / (0.6 * maxEpisodes)); low 0.1 0.2 * progress; high 0.3 0.5 * progress; sp low (high - low) * rand(); end这个改动看着简单但能让早期训练成功率从个位数百分比提到一半以上经验回放里有效样本比例大幅上升。注意别把课程放得太慢否则后期还在小范围打转泛化不够。第二个是策略平滑。DDPG 学出来的策略在设定值附近容易高频抖动实际阀受不了。除了奖励里加动作变化率惩罚还可以在动作输出后加一个一阶低通滤波或者用目标策略平滑Target Policy Smoothing计算目标 Q 值时给目标动作加一个小噪声再裁剪。% 目标策略平滑计算目标Q时给动作加噪 function a_target smoothTargetAction(actorTarget, nextState, noiseStd, low, high) a getAction(actorTarget, nextState); a a noiseStd * randn(size(a)); a_target min(high, max(low, a)); % 裁剪回合法范围 end噪声标准差取 0.1 到 0.2别太大否则目标 Q 值偏差过大反而拖慢收敛。这个技巧对连续动作的稳定性提升很明显尤其是动作维度低、边界敏感的场景。最后说个我自己的习惯每次改完奖励或超参先跑 200 回合看趋势别一上来就 2000 回合。200 回合足够判断方向对不对省下来的时间够你多试好几组配置。强化学习调参是个体力活但方向对了剩下的就是等。希望帮到你。本文还有配套的精品资源点击获取