大模型后训练全解析：SFT、PPO、GRPO、DPO Loss 设计大比拼

预训练让模型学会语言后训练让模型学会做人。SFT、PPO、GRPO、DPO 看似各成一派底层却共用同一个框架——真正的分叉点只有一处Loss 如何设计。本文逐一拆解各方法的 Loss 演化讲清每种方法跑几张网、靠什么信号驱动更新、能突破什么天花板。大模型的完整生命周期分两段预训练Pre-training自监督、海量原始文本、定义模型能力上限——详见《大模型预训练底层全解》后训练Post-training一切让模型好用的手段包括 SFT、PPORLHF、GRPO、DPO、Agent Tuning——本文的主题两段的底层计算范式完全相同数据打包、因果掩码、反向传播真正让它们产生差异的只有一件事Loss 的设计——哪些位置的预测错误需要被惩罚、用什么目标函数来衡量好坏。★注历史上常见的预训练 → SFT → RLHF三阶段说法是 2022 年 InstructGPT 论文确立的经典路径。随着 DPO、GRPO、RLVR 等方法涌现后训练内部的方法已大幅分叉预训练 / 后训练两段式是当下更准确的框架。零、后训练的两种逻辑监督学习 vs 强化学习后训练内部的所有方法本质上只有两种信号来源监督学习SFT / Agent Tuning给模型一个正确答案让它模仿。上限被标注数据锁死——人类没有写出来的更好回答模型永远学不到。强化学习PPO / GRPO / DPO不给标准答案只给评分信号让模型自己试错、探索、找到得分更高的策略——能突破标注数据天花板但工程更复杂。DPO 在工程形式上类似监督学习但数学上等价于 RL 目标详见第四节。强化学习RL套到大模型里经典 RL 概念大模型中的对应物Agent智能体语言模型本身State状态当前 Prompt 已生成的 token 序列Action动作选择下一个 tokenPolicy策略 模型的概率分布Reward奖励人类打分 / 奖励模型评分 / 可验证结果一次 RL “回合”给模型一个 Prompt → 自回归生成完整回答 → 获得 Reward 标量 → 更新参数鼓励高分回答抑制低分回答。循环往复模型不断进化。这是 SFT 做不到的SFT 让模型复现人类示范RL 让模型超越人类示范。DeepSeek-R1 的推理涌现正是模型在 GRPO 的在线探索中自己发现的推理链不是人工标注喂进去的。在线On-policyvs 离线Off-policy是 RL 类方法之间最核心的区别监督类方法 SFT / Agent Tuning 本身就使用固定数据集不涉及此维度在线训练数据由当前模型实时生成模型边探索边学习——能突破标注数据天花板但计算开销大PPO、GRPO离线训练数据偏好对提前收集好模型不参与数据生成——工程简单、成本低但上限受限于数据集质量DPO一、指令微调SFTLoss Mask 向量点乘SFT 的核心逻辑是模型必须学会优雅地回答但不需要学会如何提问。数据流打包算法同学会把Prompt提示词和Answer回答拼接成一条样本。例如User: 11? Assistant: 2.游戏规则在计算交叉熵 Loss 时框架会引入一个和序列等长的Loss Mask向量值只有 0 和 1提示词部分回答部分矩阵计算出的所有位置 Loss 点会与这个 Mask 向量进行点乘。模型预测提示词部分的错漏得分全部被乘上 0直接抹杀只有预测答案部分的 Loss 被保留并参与最终的平均计算。被 Mask 掉的 Prompt 位置并非「不参与计算」而是「不产生直接梯度」。它的 K、V 仍被全量计算因为 Response 的 attention 必须回望 Prompt 的上下文反向传播时梯度也会沿 attention 权重间接流回 Prompt 的参数。SFT 的算力开销因此与预训练几乎相当节省的只是末尾 Loss 聚合那一步。二、人类反馈对齐RLHF经典的 PPO 四网对抗RLHF 的 PPO近端策略优化阶段不再只有一张大网在前向传播时显存里其实同时跑着4 张独立的大网演员模型当前被训、参考模型冻结对齐、奖励模型打分器、评论家模型分数预测。游戏规则演员模型自回归吐出一串回答。让演员模型和参考模型同时跑前向对比两者的接龙概率分布。如果演员模型由于太想讨好人类而导致概率分布偏离参考模型太远算法会算出一个KL 散度惩罚项。奖励模型给这句话打一个总分减去惩罚项得到**净奖励 **。净奖励 减去评论家模型的预估分得到**优势值Advantage**。最终的 PPO Loss 使用裁剪目标防止策略更新幅度过大其中 为新旧策略的概率比 为裁剪超参数通常取 0.2。框架把整个 Batch 内所有位置的 PPO Loss 求平均后进行反向传播。若优势值为正超常发挥Loss 变小反向传播时就会大大鼓励网络以后继续这样接龙。三、GRPO砍掉评论家让模型和自己赛跑PPO 的评论家模型是个沉重的负担——它和策略模型同样大需要独立训练还要时刻和策略模型保持同步更新。DeepSeek-R1 使用的GRPOGroup Relative Policy Optimization直接把它拿掉了。替换思路非常直观**评论家的唯一作用是给出基线分**告诉算法这次回答究竟是超常发挥还是失常。GRPO 不依赖独立的评论家而是让模型对同一个 Prompt一次采样 条不同回答用这组回答的平均奖励和标准差充当天然基线好比老师不给你打绝对分而是把你同一道题写的 8 份草稿全部收上来比这 8 份均分高的草稿就算超常发挥低的就算失常——组内竞争代替外部评判。Loss 结构和 PPO 完全相同保留 clip 防止策略跳变KL 惩罚项直接加入每个 token 的 Loss显存里只剩3 张网演员模型、参考模型KL 惩罚用、奖励模型打分用。评论家彻底消失。四、直接偏好优化DPO双网对数差值规训由于 PPO 同时跑 4 张网导致显存开销和工程复杂度极高DPO直接偏好优化进行了颠覆——它不需要单独的奖励模型和评论家模型直接用模型自己的接龙概率就能充当隐式打分器。显存里只有两张网当前训练模型 (Policy)和冻结参考模型 (Ref)。游戏规则输入成对的偏好数据[Prompt, 满意回答 (Chosen), 不满意回答 (Rejected)]。把[Prompt Chosen]塞进两张网算出当前模型和参考模型接龙出 Chosen 的总对数概率 和 。只对 Response 部分的 token 求和Prompt 作为条件上下文不计入——与 SFT 的 Loss Mask 逻辑完全一致。把[Prompt Rejected]也塞进两张网算出接龙出 Rejected 的总对数概率 和 。塞入 DPO 专属的 Loss 核心公式其中 为 Sigmoid 函数 为控制偏离参考模型幅度的超参数。这个公式的直觉非常纯粹它在最大化当前模型相对于参考模型更偏好 Chosen与更偏好 Rejected之间的差距。当满意回答的相对对数概率远高于不满意回答时括号内的值很大Sigmoid 趋近于 1Loss 趋近于 0反之 Loss 飙升并触发严厉的反向传播惩罚。为什么说 DPO “数学上等价于 RL”斯坦福研究者证明在 KL 约束下最大化奖励这个 RL 目标存在解析最优解——最优策略和参考策略的概率比本身就隐式编码了奖励信号。DPO 直接利用这个等价关系把先训练奖励模型、再用 RL 优化两步合并成一步监督学习绕开了在线采样但解决的是同一个优化问题。代价是没有在线探索模型只能在已有的偏好对范围内调整无法自主发现更好的回答。五、智能体轨迹微调Agent Tuning精准雕刻思考链与工具调用Agent Tuning 本质上是 SFT 的延伸只是教材从问答对升级成了决策轨迹。一条典型样本是模型与外部环境多轮交互的完整记录User: 帮我查一下今天北京的天气。Thought: 我需要调用天气查询工具。Action: search_weather(city北京)Observation: {weather: 晴, temp: 28°C}Thought: 已拿到结果可以回答了。Answer: 今天北京晴气温 28°C适合出行。数据流打包整条轨迹按角色顺序拼接成一个序列送入训练框架。游戏规则Loss Mask 向量按角色精确切割只保留模型自主决策的片段User输入和Observation工具返回的环境反馈位置的 Loss 权重设为 0——模型不需要学会如何提问也不需要学会模拟工具返回值只有Thought推理过程、Action工具调用与参数以及最终Answer的 Loss 权重设为 1参与梯度更新。这种精准的 Mask 策略让模型只从决策者视角学习何时需要工具、调用什么参数、如何整合外部信息并给出答案——而不会被环境反馈污染误以为自己要学会模拟整个外部世界。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】