逆强化学习实战：从专家轨迹反推奖励函数的代码教程与避坑指南

简介面向强化学习与逆强化学习研究者的 Java 示例代码包基于 BURLAP 库构建逆向强化学习IRL框架。资源围绕学徒学习等经典算法展开通过网格世界、单阶段正规博弈等实验场景演示如何从专家演示数据中恢复奖励函数也涵盖多智能体交互与性能对比场景适合需要理解 IRL 原理并快速上手的算法工程师和研究生。压缩包共 497 个文件以 484 个 Java 源码为主辅以 XML 配置、Maven 工程文件、依赖 jar 包及项目说明文档整体大小仅 2.29MB目录结构紧凑便于按模块定位代码。目前已有 1046 人学习下载。代码内含性能绘图、多智能体可视化组件以及线性规划求解器封装可在实验后直观观察算法收敛趋势与策略表现。由于作者对 BURLAP 做了定制修改包内直接附带了修改后的 BURLAP 快照省去自行适配依赖的步骤解压即可运行示例。这份资料既适合作逆强化学习入门教程的配套代码也适合作后续研究与二次开发的参考起点尤其适合希望从示例入手结合源码细读的初学者。1. IRLTutorial 是什么从专家轨迹里反推奖励函数的示例代码库逆强化学习IRL很多人卡在看懂公式但写不出第一行代码。IRLTutorial 这类示例代码库的价值不是帮你复现某个 SOTA而是把逆强化学习的完整闭环——从专家轨迹出发反推奖励函数再拿学到的奖励去训练策略——用最小可运行的代码串起来。它适合两类人刚入门模仿学习的研究生以及要在真实环境里做奖励工程但不想从零造轮子的工程师。我见过太多人把 IRL 当成黑匣子直接套库结果奖励函数学出来完全不可解释本文就从这个教程代码的结构讲起落到参数和踩坑。2. 示例代码的四个模块环境、专家、奖励学习器与策略内环2.1 为什么 IRL 示例代码必须拆成四个模块逆强化学习和普通强化学习最大的不同在于存在两层循环。外层循环在更新奖励函数内层循环在给定当前奖励的情况下重新训练策略。如果不把环境、专家数据、奖励学习器和策略优化器拆开你会发现自己根本没法定位是外层梯度算错了还是内层策略没收敛。常见做法是四个模块分文件存放每个模块只干一件事我一般会按“环境与数据”在前、“学习器与策略”在后的顺序组织代码因为调试时你总是先怀疑数据出问题。更具体地说环境模块负责定义状态空间、动作空间和转移逻辑专家模块负责加载或采样专家轨迹奖励学习器模块维护奖励函数的参数并输出梯度策略模块则是一个标准的强化学习外层调用它把当前奖励当成环境的 reward 去训练策略。这种拆分还有一个额外的好处你可以单独替换任何一个模块。比如把网格世界替换成 MuJoCo 环境时只需要动环境模块和第 3 章的轨迹格式转换函数奖励学习器完全不用改。2.2 一个最小文件布局与数据流如果你打开一份典型的 IRL 示例代码仓库目录结构大致长这样不同项目命名有差异但职责等价irl_tutorial/ ├── envs/ # 环境gridworld / gym 接口 │ ├── gridworld.py │ └── wrapper.py ├── expert/ # 专家轨迹生成与读取 │ ├── collect.py │ └── load.py ├── irl/ # 奖励学习器 │ ├── maxent.py │ ├── airl.py │ └── features.py ├── policy/ # 内层策略优化价值迭代或 PPO │ ├── value_iteration.py │ └── ppo.py ├── configs/ │ └── gridworld.yaml └── train.py # 主入口串起整个外环这里的核心数据流是collect.py 先按一个已知最优策略采样若干条专家轨迹features.py 把状态映射成特征向量maxent.py 计算特征期望差并更新奖励权重value_iteration.py 用新奖励重新求解策略然后把新策略的轨迹再喂回 maxent.py。整个流程跑起来就像一个循环策略变好 → 奖励更新 → 策略再变好 → 奖励再更新直到两条轨迹的特征期望对齐。代码里最难理解的是特征期望。简单说在最大熵 IRL 框架下我们假设专家不是绝对最优而是“越好的轨迹出现概率越高”所以我们要找一组奖励权重使得学出来的策略在状态访问频率上和专家尽量一致。这个直觉写进代码就是先算专家轨迹的平均特征向量再算当前策略的平均特征向量两个向量相减就是梯度方向。下一章我会给出能直接跑起来的最小实现。3. 跑通最大熵 IRL网格世界上的核心训练循环与两个关键参数3.1 最大熵 IRL 的目标函数与梯度最大熵 IRL 是逆强化学习里最容易被理解的一个版本。它假设专家轨迹服从一个指数形式的概率分布奖励越高的轨迹被专家选择的概率越大。于是学习目标就变成调整奖励函数参数让“模型期望特征”逼近“专家特征期望”。这里的“特征”可以是网格世界里的状态指示、机器人控制里的关节角度、速度等手工特征选择范围很宽但原则上要能区分不同状态的好坏。对应的梯度其实非常简洁损失函数对奖励权重求导等于专家特征期望减去当前策略特征期望。这意味着你不需要通过反向传播去算奖励的梯度只需要做两件事统计专家轨迹的特征均值统计当前策略 rollout 的特征均值然后相减、乘以学习率、更新权重。很多初学者把 IRL 想象得很神秘实际上代码里最难的部分反而是内层策略优化——也就是每次更新完奖励你能不能快速得到一个新策略。3.2 网格世界训练循环的可运行代码下面这段代码是我建议的最小实现它用 5x5 网格世界状态特征用 one-hot 向量策略用价值迭代求解奖励权重用梯度上升更新import numpy as np # 5x5 网格状态编号 0..24动作 0:上 1:下 2:左 3:右 # 奖励权重初始为零特征为 one-hot 状态指示 n_states 25 n_actions 4 theta np.zeros(n_states) # 奖励权重即我们要学的奖励函数 learning_rate 0.1 outer_iters 50 # 外层奖励更新轮数 inner_iters 100 # 内层价值迭代轮数 expert_trajs, expert_feature load_expert() # 专家轨迹及其特征均值 for it in range(outer_iters): # 用当前 theta 作为奖励做价值迭代得到策略 V np.zeros(n_states) for _ in range(inner_iters): Q np.zeros((n_states, n_actions)) for s in range(n_states): for a in range(n_actions): s_next step(s, a) # 环境转移 Q[s, a] theta[s] V[s_next] V Q.max(axis1) # 价值迭代更新 policy Q.argmax(axis1) # 由最优价值导出策略 # 按当前策略采样轨迹计算策略特征期望 policy_feature np.zeros(n_states) for _ in range(200): # 采样 200 条轨迹来估计 s env_reset() for t in range(20): policy_feature[s] 1 # one-hot 特征直接累加 s step(s, policy[s]) policy_feature / 200 * 20 # 归一化成访问频率 # 梯度上升专家特征期望 - 当前策略特征期望 grad expert_feature - policy_feature theta learning_rate * grad print(fiter {it}, grad_norm {np.linalg.norm(grad):.3f})这段代码的逻辑分三步第一步用当前奖励权重做价值迭代价值迭代收敛后取 argmax 得到策略第二步让这个策略在环境里跑 200 条轨迹统计状态访问频率作为策略特征期望第三步把专家特征期望和策略特征期望相减作为梯度更新奖励权重。三个步骤交替执行IRL 的训练环就闭合了。两个关键参数决定了训练质量。第一个是 outer_iters 和 inner_iters 的比例inner_iters 太小策略还没收敛你就去更新奖励梯度方向是噪声inner_iters 太大训练时间成倍增加我一般先固定 inner_iters100再去看梯度范数有没有持续下降。第二个是学习率IRL 的奖励权重没有上下界学习率稍大就会出现权重爆炸保守起见从 0.05 开始调当 grad_norm 出现连续增长时就减半。另外专家轨迹数量也很重要少于 10 条轨迹时特征期望的方差会很大这个在下一章专门讲。4. 把奖励函数换成神经网络的三个必调超参4.1 线性特征为什么不够用网格世界的 one-hot 特征能用但换到连续控制任务就会立刻失效。原因是线性奖励假设所有状态的好坏可以叠加表示而真实环境里往往是组合特征在起作用——机器人的某个关节角度本身无害但它和另一个角度的组合可能是危险姿态。这时候手工特征维度会爆炸而神经网络奖励函数可以直接从状态输入里学出非线性组合。所以现在的 IRL 示例代码普遍提供两套实现一套是第 3 章的线性最大熵适合跑通流程、验证直觉另一套是 AIRLAdversarial Inverse RL用判别器把专家轨迹和策略轨迹区分开同时输出一个可解释的奖励项。AIRL 的本质就是把生成对抗的思想搬进逆强化学习策略是生成器奖励网络是判别器两者交替训练直到判别器区分不出两条轨迹。这套做法对初学者不那么友好但代码框架和第 3 章完全兼容换掉 irl/maxent.py保留环境、专家采样和 rollout 逻辑。4.2 非线性 IRL 训练中的三个必调超参第一是奖励网络的更新比例。在 AIRL 里判别器更新太快会把奖励梯度磨平策略更新太快又会让判别器失去学习信号我一般把两者比例稳定在 1:1 到 1:3 之间——每更新一次策略就更新一至三次判别器。第二是熵正则系数。奖励网络很容易退化成“只关注当前轨迹里的少数高光状态”加入熵正则能逼它保持探索让状态覆盖更全面这个系数我通常从 0.01 起调观察 rollout 的状态覆盖度。第三是判别器输出层的初始化范围。如果奖励网络的输出在初始阶段就波动很大策略会跟着剧烈变动整个 IRL 训练直接崩掉。常见做法是把最后一层权重初始化为接近零的小值让奖励在训练初期保持平坦这个细节几乎所有翻车案例中都出现过。下面这段 PyTorch 代码展示了奖励网络的初始化与更新节奏控制import torch import torch.nn as nn class RewardNet(nn.Module): def __init__(self, state_dim): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 1) ) # 关键最后一层零初始化保证起始奖励平坦 nn.init.zeros_(self.net[-1].weight) nn.init.zeros_(self.net[-1].bias) def forward(self, s): return self.net(s) reward_net RewardNet(state_dim4) optimizer torch.optim.Adam(reward_net.parameters(), lr1e-3) # 伪代码每迭代一次策略就更新 reward_net 三次 for _ in range(3): expert_score reward_net(expert_states) policy_score reward_net(policy_states) loss -torch.mean(torch.log(torch.sigmoid(expert_score)) torch.log(1 - torch.sigmoid(policy_score))) optimizer.zero_grad(); loss.backward(); optimizer.step()这段代码里最容易被忽略的是 nn.init.zeros_ 这一行。没有它奖励网络一开始就会给状态打一个随机的正负分策略被迫去追一个不存在的“好状态”训练曲线看起来在下降实际奖励函数已经学歪了。把网络最后一层归零后前几百步策略是在一种“所有状态奖励相同”的环境里探索判别器再逐步拉开差距稳定很多。如果你跑的是这套非线性版本建议每轮训练记录两个指标判别器的准确率接近 0.5 说明奖励接近收敛和策略轨迹的覆盖范围。前者告诉你生成对抗是否平衡后者告诉你策略有没有坍缩到单一状态。这两个指标配合第 5 章的常见问题排查基本能定位大部分训练失败原因。5. IRL 示例代码避坑奖励漂移、局部最优与数据稀疏的排查记录5.1 奖励权重爆炸现象、原因与修复现象是训练轮数增加后奖励权重数值越来越大策略反而越跑越差或者第 3 章代码里打印的 grad_norm 不降反升。很多人在这一步开始怀疑算法本身实际上原因是奖励函数的尺度没有约束。IRL 学的是相对好坏而不是绝对分数权重无约束增长不会影响策略排序但会让价值迭代的数值稳定性变差甚至溢出。解决方法是给梯度加 L2 正则或者在每轮更新后把权重缩放到固定范数比如限制在 [-1, 1]。这也是为什么你会看到部分示例代码里有个 normalize_theta 的辅助函数。5.2 内层策略优化不收敛先把外循环停掉现象是外层 loss 剧烈震荡怎么调学习率都没用。原因通常不在奖励学习器而在内层价值迭代没有收敛策略每次都在变导致算出来的特征期望方差极大。我一般会用两段式排查先固定奖励权重只单独调策略优化器看策略的目标函数能不能稳定等内层稳定后再打开外层更新并把 inner_iters 设成比调试时更大一些的值。新手最常见的误用是把 IRL 当成黑匣子一上来就同时调所有超参结果一个都调不准。5.3 专家轨迹太少学出退化策略现象是 IRL 学完之后的策略还不如行为克隆。这不是算法的问题而是专家特征期望的估计方差太大。假设你只有 5 条专家轨迹高访问频率状态只有那么几个梯度更新会把这些状态推到极高奖励其他状态完全失去信号。解决思路是数据增强把专家轨迹按不同长度截断、增加噪声重采样、或者在连续控制里用动作扰动生成多条近似专家轨迹。另外一个务实的选择是降低特征维度让有限的专家数据更集中地估计少量特征。5.4 奖励函数不可辨识策略很好但奖励很怪这是 IRL 领域最常见的翻车现象策略在测试指标上不比专家差但把学到的奖励单独画出来完全不符合直觉。原因是任何对专家策略保序的奖励变换都能解释同样的专家轨迹这种奖励模糊性是理论层面的不是代码 bug。遇到这种情况要么放弃可视化奖励、只验证策略表现要么在奖励网络上加入结构化约束比如惩罚高方差、强制稀疏性让结果更可解释。我自己的经验是先把“奖励可解释”和“策略可用”分开评价不要在同一个实验里同时要求两者否则永远调不出一个“看起来合理”的结果。6. 验证奖励是否学对状态分布对比与奖励重拟合检查验证 IRL 结果不能只看策略回报因为策略好不代表奖励学对了。我习惯做两个轻量检查第一个是状态分布距离。用专家轨迹和训练后的策略各采样一批状态计算两个分布的 KL 散度或 Wasserstein 距离这个数字应该随着训练下降并稳定在低位。第二个是奖励重拟合把学到的奖励当成监督信号重新训练一个一模一样的策略如果重训策略的行为和训练时的策略不一致说明奖励函数存在记忆效应或过拟合需要回头检查特征和正则。下面这段代码可以快速完成第二个检查from scipy.stats import wasserstein_distance def state_distribution_distance(expert_states, policy_states, bins20): # 把状态按每个维度分箱计算一维 Wasserstein 距离后取平均 dists [] for dim in range(expert_states.shape[1]): d wasserstein_distance( expert_states[:, dim], policy_states[:, dim]) dists.append(d) return float(np.mean(dists))我有一次在连续控制任务里策略回报涨了 30%但状态分布距离一直没降最后发现是判别器钻了空子只凭轨迹长度就能区分专家和策略。修掉这个泄漏特征之后距离才真正开始下降。从那以后我养成了每个实验都同时看策略回报和状态分布距离的习惯前者骗人后者相对诚实。IRL 的坑不比训练一个强化学习代理少但把这几条排查路径记在心里至少能让你的示例代码第一次跑通时知道该往哪个方向改。希望帮到你。本文还有配套的精品资源点击获取