Recova：面向自主机器人操作的、由智能体引导的故障恢复

论文 “Recova: Agent-Guided Failure Recovery for Autonomous Robotic Manipulation”NVIDIA / UCSD / UT AustinarXiv 2610.011782026-10一、动机VLA 不会处理失败后的场景。训练数据几乎都是从标准初始状态出发的成功轨迹。一旦出错比如环卡在柱尖、铅笔卡住、牌倒了场景就落到长尾分布里。任务策略直接重试往往解决不了障碍。在真机上学恢复太贵。要反复人工复位还可能损坏物体。仿真和数字孪生可以安全地复现失败、试纠正动作但真实的接触和观测仍需要真机来验证。语言模型 agent 适合当协调者。已有工作分别做了失败诊断、代码策略、人在环 DAgger。缺的是一个闭环诊断 → 选择或开发纠正动作 → 验证 → 沉淀 → 把数据分流给对应的策略。二、要点任务执行和场景恢复分开。任务策略 πθ(a|o,g) 以任务指令 g 为条件恢复策略 ρφ(a|o,z) 以恢复指令 z如把卡住的环推下去为条件。以 z 为条件恢复技能就能跨任务复用。恢复技能分三类复原型Restorative扶正倒下的物体、使能型Enabling把物体挪到够得着的地方、改变策略型Adaptive换抓取位姿或换方向开门。主要结果LIBERO-Pro 六个设定平均 78.8%最强基线 ASPIRE 为 71.7%。MolmoSpaces 平均 64.9%最强基线为 38.0%。真机四个任务基础策略 23.8% → DAgger 后 77.5% → 加上恢复技能 87.5%。在摸牌任务上四轮采集中人工接管率从 87.5% 降到 0%。其概览如图 1 所示三、方法与特色1. 数字孪生由 agent 自动构建real-to-sim编码 agent 用真机的相机图像、标定和机器人轨迹搭出 MuJoCo 场景并拟合物体位姿和接触参数使回放轨迹与真实视角对齐。agent 在孪生里尝试任务成功的轨迹进入任务数据集。失败时agent 诊断原因、给恢复指令 z 命名同时产出两样东西一段 code-as-policy 恢复程序进技能库以及一批恢复 rollout进恢复数据集。这样真机部署前就已有一批恢复技能四个任务在孪生里共开发了 24 个。2. 真机闭环Monitor → Detect → Decide → Verify由 VLMGemini 3.8 Flash担任监控者有四类结构化查询均为温度 0、JSON 输出需求查询 M_req把任务指令转成可从图像检查的完成条件 C_g。完成查询 M_done每 20 秒检查一次。干预查询 M_int每 10 秒异步检查一次判断场景是否完好并给出恢复指令 zz 优先原样复用已有技能名让同一类行为的示范共享标签。恢复查询 M_res恢复后检查场景是否等价可用不要求物体回到原位。决策逻辑场景完好但任务卡住 → 人示范完成任务。场景被扰乱且 z 已注册 → 恢复策略在 50 秒预算内自主尝试一次。否则 → 人只示范恢复那一段。连续两次干预 → 下一轮由人做完整示范避免反复失败的循环。3. 数据按来源分流的 DAgger本轮成功的任务 rolloutS_k和人工任务示范E_k→ 任务数据集。人工恢复示范R_k和通过恢复验证的自主恢复A_k→ 恢复数据集。失败片段只记日志不用于训练。遇到新的失败类型时系统提出新的 z人示范一次z 进入恢复指令集 K同时引导在孪生里开发对应程序。技能集就这样持续扩张。4. 多站并行因为只在交接点才需要人一个操作员可以同时看管四个工作站。在一次 14 分钟的会话里人工控制占总站时的 11%。主要特色总结恢复被当成独立、可学习、可复用的能力。恢复有两种实现学习型策略和程序化技能互补。人的介入被设计成扩展能力的入口不只是兜底。数据按用途分流并做了完整的出处记录provenance。如图 2 所示Recova 将任务执行与场景恢复解耦并通过一个负责协调仿真、部署和学习的智能体将两者连接起来。四、存在的问题1. 仿真对比不够公平基线数字直接引用已发表结果Recova 的数字是作者自己测的种子、预算、协议不完全一致。Recova 的恢复程序在任务策略的执行预算用完后接管而且由程序完成任务也算成功。这相当于多给了时间和尝试机会基线未必有同等预算。恢复程序是针对基准任务逐个开发的。论文说开发和评估用的随机种子不重叠但这仍属于针对任务的工程投入。程序里的场景查询是否用到了仿真特权状态论文没交代清楚。在 LIBERO-Pro 的 Object 套件上Recova 仍不如 ASPIRE。2. 缺少关键消融没有对比恢复数据并进单一策略和两个策略分开而分开恰恰是核心论点。没有量化数字孪生对真机结果的贡献去掉孪生的初始数据会怎样sim-to-real 差距有多大图 5 里孪生技能蓝色只在仿真中展示真机上执行的是学出来的恢复策略绿色。real-to-sim-to-real这条链路的实证比较弱。没有评估 VLM 监控者的准确率包括误报/漏报率、z 命名的一致性以及判断错误对数据质量的影响。3. 真机统计量小每个配置只跑 20 次5 个百分点的差距就是 1 次试验。“DAgger”和恢复技能两行的数据量和算力没有对齐。恢复策略额外吃了人工恢复示范提升里有多少来自更多数据说不清楚。人工接管率 87.5% → 0% 只在一个任务上测得每轮 7–8 个 episode置信区间很宽。4. 自动化程度和可复现性孪生构建声称由 agent 完成但没有报告耗时、需要多少人工修正、失败率是多少也没说物体模型从哪里来。正文似乎没有写明编码 agent 用的是哪个模型只点名了监控用 Gemini 3.8 Flash复现有难度。新技能注册进 registry、片段重新打标签目前仍要人工。作者在结论里也承认自动注册、跨任务共享技能是未来工作。也就是说技能可跨任务复用这一卖点在实验里并没有被验证。5. 适用范围有限前提是场景能恢复到等价初始状态不处理不可逆失败比如打翻液体或损坏物体。任务都是刚体、桌面、短时程的铅笔盒、套环、麻将没有涉及可变形物体和关节复杂的物体。监控延迟 4.5–5.5 秒做完成检查时机器人要停住检查间隔 10–20 秒。动态任务或需要快速反应的失败接不住。单次恢复限时 50 秒、只尝试一次失败就交给人。自主恢复的成功率本身没有单独报告。6. 叙事比证据走得远贡献点里的53.7 个百分点提升主要来自 DAgger 微调本身23.8 → 77.5。这和agent 引导的恢复关系不大标准人在环 DAgger 也能拿到。恢复技能本身只额外贡献了 10 个百分点。一句话评价这是一个系统工程完整、设计合理的框架恢复与任务解耦VLM 监控加分流式 DAgger多站并行。但它最核心的两个主张即数字孪生发现的恢复能迁移到真机和策略分离优于混合缺少消融和对照。仿真对比的公平性和真机样本量也让结论偏乐观。