WAM训练策略全解析：从预训练权重加载到后训练对齐的实操指南

1. 从近300篇工作调研里翻出来的WAM训练真相World-Action ModelWAM这两年被讨论得越来越多但真正把训练策略讲透的材料少得可怜。我前后花了将近两个月时间把近300篇相关方向的工作调研翻了一遍从预训练语言模型的通用范式到DEIM的COCO预训练权重加载方式再到RoBERTa中文预训练模型的适配经验最后落到WAM这类世界模型动作模型联合架构的训练策略上。翻完之后最大的感受是大部分工作把精力花在架构图上真正决定成败的训练策略反而一笔带过。这篇内容就是把这近300篇调研里关于WAM训练策略的部分抽出来讲清楚三件事数据怎么组织、预训练阶段到底在预训练什么、后训练阶段又该怎么调。适合已经了解Transformer基础、正在做具身智能或世界模型方向、需要落地训练策略的从业者。如果你只是想知道WAM是什么那这篇可能偏深但如果你正准备训一个自己的WAM或者正在为预训练权重加载、后训练对齐发愁那接下来的内容应该能帮你少走不少弯路。先说一个反直觉的结论在WAM的训练里预训练阶段的数据质量远比数据规模重要而后训练阶段的数据多样性又比数据质量更关键。这个结论和纯语言模型的经验是反过来的原因后面会展开。我先把整个训练策略拆成数据、预训练、后训练三块逐块讲。2. WAM训练数据的组织逻辑为什么视频动作的对齐比想象中难2.1 WAM的数据到底由什么构成WAM的核心是同时建模世界怎么变和动作怎么影响世界所以它的训练数据天然是双模态的一路是观测序列图像、视频、点云等一路是动作序列关节角、末端位姿、离散动作token等。近300篇调研里数据组织方式大致分成三类。第一类是同步对齐数据观测和动作在时间戳上严格对齐比如遥操作采集的机械臂数据每一帧图像都对应一个动作指令。这类数据质量最高但采集成本也最高通常只有几千到几万条轨迹。第二类是异步弱对齐数据观测和动作来自不同来源通过时间窗口做粗对齐。比如用大量无动作标注的视频做世界模型预训练再用少量有动作标注的数据做动作分支训练。这类数据规模可以到百万级但对齐噪声大。第三类是合成数据用仿真环境批量生成动作和观测天然对齐但存在sim-to-real gap。调研里超过六成的工作会混合使用这三类数据纯用某一类的很少。提示如果你刚开始做WAM不要一上来就追求百万级数据。先用几千条高质量同步对齐数据把pipeline跑通再考虑扩数据。2.2 时间对齐的坑帧率和动作频率不匹配这是我在调研里看到被反复提及、但很多新手会忽略的问题。视觉观测通常是30fps或更低而动作控制频率可能是100Hz甚至更高。如果直接把两者按帧索引对齐动作分支会学到错误的时序关系。常见的处理方式有两种。一种是动作降采样把高频动作按观测帧率做聚合比如每3-4个动作取一个代表值或做平均。另一种是观测上采样用插值生成中间帧但这会引入伪影。调研里更推荐前者因为动作降采样虽然损失了高频细节但至少不会污染观测。具体操作上我建议在数据加载阶段就做好重采样而不是在模型里做。用一个独立的数据预处理脚本把动作序列按观测时间戳做最近邻或线性插值对齐输出统一的时间轴。这样模型侧拿到的就是干净对齐的数据调试起来也方便。2.3 动作表示的选型连续vs离散WAM里动作怎么表示直接决定了后训练阶段能不能用语言模型那套范式。连续动作如关节角、末端位姿保留精度但和语言模型的token范式不兼容离散动作把动作空间分桶或聚类成token可以直接复用自回归训练但会损失精度。调研里的主流做法是混合表示底层用连续动作做精细控制上层用离散动作token做规划。预训练阶段用离散token因为可以复用预训练语言模型的权重和训练范式后训练阶段再引入连续动作头做微调。这个思路和DEIM在COCO预训练权重上的做法类似——先用大规模通用数据预训练再用目标任务数据微调。3. 预训练阶段WAM到底在预训练什么3.1 预训练目标的三个层次WAM的预训练不是单一目标而是三个层次叠加。第一层是观测重建让模型学会压缩和重建视觉输入类似MAE或VQ-VAE的做法。第二层是动作预测给定当前观测和动作预测下一时刻观测这是世界模型的核心。第三层是动作生成给定目标观测生成达成目标的动作序列这是动作模型的核心。近300篇调研里大部分工作会先单独预训练世界模型前两层再联合训练动作模型第三层。也有工作尝试端到端联合预训练但收敛更慢对数据量要求更高。我的建议是分阶段做先把世界模型预训练稳再接入动作分支。3.2 预训练权重从哪来复用还是从头训这是被问得最多的问题。调研里的答案很明确能复用就复用但要注意模态对齐。视觉编码器可以直接用ResNet预训练模型或ViT预训练权重这部分迁移性最好。语言/动作分支可以复用RoBERTa中文预训练模型或类似的语言模型权重但需要做动作token的embedding扩展。具体操作上视觉编码器加载ResNet预训练模型权重后通常只需要冻结前几层后面几层跟着WAM一起微调。动作分支如果复用语言模型需要把动作token加进词表新增的embedding用随机初始化或均值初始化然后整个分支一起微调。注意不要直接加载DEIM的COCO预训练权重到WAM的视觉分支。DEIM是检测模型它的权重里包含大量检测头参数和WAM需要的视觉表征不完全兼容。可以加载它的backbone部分检测头直接丢掉。3.3 预训练数据配比的经验值调研里给出了一些可参考的配比。视觉预训练数据无动作标注的视频和动作标注数据的比例常见的是10:1到5:1。也就是说如果你有1万条动作标注轨迹可以配5-10万条无标注视频做世界模型预训练。但这个比例不是固定的。如果动作标注数据质量很高可以适当降低无标注数据的比例如果动作数据噪声大反而需要更多无标注数据来稳定世界模型的表征。我自己的经验是先用5:1跑一版看世界模型的预测损失和动作分支的成功率再调整。3.4 预训练阶段的常见失败模式调研里提到的失败模式主要有三种。第一种是表征坍缩世界模型把所有观测都编码成相似的表征预测损失降不下去。这通常是因为重建目标太简单或数据多样性不足。解法是增加重建难度如mask比例提高或增加数据多样性。第二种是动作分支不收敛动作预测损失震荡。这通常是因为动作表示和观测表示没有对齐或者动作token的embedding初始化太差。解法是先用少量数据做动作分支的warmup再联合训练。第三种是过拟合到预训练数据后训练阶段微调不动。这通常是因为预训练数据太少或预训练轮次太多。解法是早停或增加预训练数据。4. 后训练阶段从能预测到能干活的关键一跃4.1 后训练的目标对齐任务和动作预训练让WAM学会了世界怎么变、动作怎么影响世界但预训练的目标是通用预测不是特定任务的成功率。后训练阶段的核心目标是把模型的预测能力对齐到具体任务上让它在目标任务上的动作成功率最大化。调研里的后训练策略大致分三类。第一类是监督微调用目标任务的成功轨迹做监督学习直接优化动作预测损失。第二类是强化学习微调用任务奖励信号做策略优化适合有明确奖励函数的任务。第三类是偏好对齐用成功/失败轨迹对做对比学习让模型偏向成功动作。三类策略里监督微调最稳但上限低强化学习上限高但难调偏好对齐介于两者之间。调研里超过一半的工作会先用监督微调做warmup再用强化学习或偏好对齐做精调。4.2 监督微调的实操细节监督微调看起来简单但有几个细节决定成败。第一个是学习率后训练的学习率通常要比预训练低一个数量级否则会破坏预训练学到的表征。第二个是冻结策略视觉编码器通常冻结或只微调最后几层动作分支全量微调。第三个是数据采样成功轨迹和失败轨迹的采样比例要控制通常成功轨迹占70%以上。我自己的做法是先冻结视觉编码器只训动作分支跑几个epoch看成功率如果成功率上不去再解冻视觉编码器的最后几层一起训。这样分阶段解冻比一上来全量微调更稳。4.3 强化学习微调的奖励设计如果任务有明确的成功/失败信号强化学习微调是值得尝试的。但WAM的强化学习微调和传统RL不一样它的动作空间通常是连续的而且有世界模型做预测可以用模型预测做rollout减少真实环境交互。奖励设计上调研里常见的是稀疏奖励稠密辅助奖励。稀疏奖励就是任务成功给1失败给0稠密辅助奖励包括动作平滑度、接近目标的距离等。稀疏奖励保证目标对齐稠密奖励加速收敛。提示强化学习微调容易把预训练学到的世界模型带偏建议在微调时加一个世界模型预测损失的辅助项约束模型不要偏离预训练太远。4.4 后训练阶段的数据效率后训练阶段的数据通常比预训练少得多所以数据效率很关键。调研里提到的技巧包括数据增强对观测做随机裁剪、颜色抖动对动作加小噪声、课程学习先易后难安排任务、经验回放把历史成功轨迹存下来重复用。数据增强要注意不要破坏动作和观测的对齐关系。比如对观测做随机裁剪后动作对应的空间位置也变了需要同步调整。课程学习要设计好难度梯度太陡会学不动太缓会浪费时间。5. 预训练和后训练的衔接那些调研里没明说但很重要的细节5.1 预训练权重的加载方式预训练和后训练的衔接第一个坑就是权重加载。WAM的预训练权重通常包含视觉编码器、世界模型、动作分支三部分。后训练时视觉编码器和世界模型可以加载预训练权重动作分支如果任务动作空间变了需要重新初始化。加载方式上调研里推荐部分加载部分初始化。视觉编码器和世界模型全量加载动作分支如果动作空间一致就加载不一致就重新初始化。重新初始化的部分用预训练动作分支的统计量做初始化比纯随机初始化收敛快。5.2 学习率调度和warmup预训练和后训练的学习率调度通常不一样。预训练用cosine衰减或linear衰减warmup步数占总步数的5%-10%。后训练用更小的学习率warmup步数更短通常几百步就够。调研里有个细节值得注意后训练的学习率不要一上来就设很小否则动作分支学不动。可以先设一个中等学习率跑几百步warmup再降到目标学习率。这个warmup阶段可以让动作分支快速适应新任务同时不破坏预训练表征。5.3 评估指标的选择预训练阶段的评估指标通常是预测损失MSE、交叉熵等但后训练阶段要看任务成功率。调研里推荐的评估方式是离线评估在线评估结合。离线评估用留出的测试轨迹算预测损失和动作误差在线评估在真实或仿真环境跑任务算成功率。离线评估快但和任务成功率不完全相关在线评估准但慢。我的做法是先用离线评估筛模型再用在线评估做最终选择。离线评估里动作误差比预测损失更能反映任务表现。5.4 常见衔接问题的排查预训练和后训练衔接时常见的问题有三个。第一个是后训练损失不降通常是学习率太大或动作分支初始化太差。第二个是后训练损失降但成功率不涨通常是评估指标和任务目标不一致或者动作表示和任务不匹配。第三个是后训练后预训练能力退化通常是微调太狠需要加预训练损失约束或降低学习率。排查时建议先看损失曲线再看动作误差最后看成功率。损失曲线正常但成功率不涨问题多半在评估或动作表示损失曲线异常问题多半在学习率或初始化。6. 从调研里提炼的几条实操心得6.1 数据质量比数据规模重要但后训练反过来这是我在近300篇调研里看到最一致的一条经验。预训练阶段数据质量决定世界模型的上限规模只是加速收敛。后训练阶段数据多样性决定动作分支的泛化质量只要及格就行。所以预训练阶段要精挑数据后训练阶段要广撒网。6.2 预训练权重能复用就复用但要注意模态对齐视觉编码器复用ResNet预训练模型或ViT权重语言/动作分支复用RoBERTa中文预训练模型或类似权重都能显著加速收敛。但复用时要检查模态对齐视觉和动作的embedding维度、token空间要对得上否则加载了也是白加载。6.3 后训练的学习率要比预训练低一个数量级这条看起来简单但很多新手会忽略。后训练的学习率如果和预训练一样会把预训练学到的表征冲掉模型退化成随机初始化。我自己的经验是后训练学习率设成预训练的1/10到1/5具体看任务和数据量。6.4 分阶段解冻比全量微调更稳后训练时不要一上来就全量微调。先冻结视觉编码器只训动作分支动作分支收敛后再解冻视觉编码器最后几层一起训。这样分阶段解冻既保护了预训练表征又让动作分支有足够的学习空间。6.5 评估要离线在线结合动作误差比预测损失更相关离线评估用预测损失筛模型在线评估用成功率选模型。离线评估里动作误差比预测损失更能反映任务表现因为预测损失衡量的是世界模型动作误差衡量的是动作分支。两个指标都要看但动作误差权重更高。6.6 强化学习微调要加预训练约束如果用强化学习做后训练建议加一个世界模型预测损失的辅助项约束模型不要偏离预训练太远。这个辅助项的权重不用太大通常设成主损失的0.1-0.5就行。加了之后强化学习微调的稳定性会明显提升。7. 一个可复现的WAM训练流程参考把上面的内容串起来给一个可复现的流程参考。第一步数据准备收集同步对齐的遥操作数据几千条无动作标注视频几万条做时间对齐和动作重采样。第二步预训练视觉编码器加载ResNet预训练模型权重动作分支加载RoBERTa中文预训练模型权重并扩展动作token用5:1的数据配比做世界模型和动作分支的联合预训练。第三步后训练冻结视觉编码器用目标任务成功轨迹做监督微调学习率设成预训练的1/10跑几个epoch看成功率。第四步精调如果监督微调成功率不够解冻视觉编码器最后几层用强化学习或偏好对齐做精调加预训练损失约束。第五步评估离线看动作误差在线看任务成功率两个指标都达标后定版。这个流程不是唯一的但覆盖了调研里大部分工作的核心步骤。实际做的时候每一步的参数都要根据任务和数据调整不要照搬。我在实际操作中的体会是预训练阶段多花时间把世界模型训稳后训练阶段会省很多事反过来预训练偷懒后训练怎么调都别扭。