零真机数据让RSI转起来！最低5美元完成一个skill，Axis提供的scaling新思路。

昨天Axis Robotics 发了一篇新博客标题叫 Beyond More Tasks: Axis Is Building a Composable Library of Robotic Capabilities。这家公司很新今年7月才拿到1200w美元的融资。但做的事情很有意思押注的是新一代的具身数据生产范式。blog开头给了三个 finding有关RSI和数据、技能组合1即使不需要任何真实数据训练sim2real即可RSI也能让policy成功率从约 22% 提升到 52%2过滤后的数据子集可能比完整数据池效果更好3单任务 Expert 可以用 5-10 美元计算成本训练到接近 100% 成功率并且能串成长时程行为。原blog链接https://axisrobotics.ai/blogs/blog/beyond-more-tasks-axis-is-building-a-composable-library-of-robotic-capabilities原文链接零真机数据让RSI转起来最低5美元完成一个skillAxis提供的scaling新思路。RSI不需要真机数据训练policy也能跑起来之前我们分享过几次RSI这个topic。国内外几家头部公司走的路子都是先把基模做好然后低成本部署到场景里面收集各类数据回流。接着用回流的数据优化模型形成更强的policy再进入场景。但Axis Robotics的思路挺有意思先用大规模仿真数据训练策略再把策略部署到真实机器人上。即使初始真实成功率不高也能产生少量成功 rollouts。这些真实 rollouts 再和原有仿真数据一起训练。新策略的真实表现继续提升。按照 Axis blog的披露这个过程把真实机器人成功率从约 22% 提升到 52%。过去很多 Sim2Real 更像一次性迁移仿真里训练好拿到真机上验证能不能用。Axis 这里把真机部署后的成功样本重新接回训练链路。仿真负责提供大规模、广覆盖的数据。真机负责提供少量但关键的现实校准信号。这样一来真实数据需求就不必随着任务数量线性增长。少量真机成功经验可以持续修正 deployment distribution shift把仿真数据里已有的能力进一步激活出来。这是这篇blog的第一层逻辑。数据多了以后筛选能力会成为门槛第二个 finding是 Better Models from Less Data。Axis 发现当 Expert policies 能低成本生成越来越多仿真数据时把所有数据都加入训练不一定带来更好效果。这很像机器人数据规模化之后一定会遇到的问题。早期缺数据大家主要关心的是有没有。数据池变大之后问题会是哪些数据对模型有用哪些只是重复覆盖哪些会带来新的行为分布。这个问题最近相关的工作特别多。Axis 博客中用两个维度评估每条 trajectory一是 utility也就是它对当前模型性能有没有直接贡献二是 coverage也就是它能不能给整个数据集带来新的行为覆盖。这里的重点不是挑出单条看起来最“干净”的轨迹而是选出一组互补、多样、真正能提升模型的数据。因为不可能每条 trajectory 都拿大模型完整训练一遍Axis 引入了一个 lightweight proxy model。这个小模型有点像数据探针快速估计每条轨迹的 utility 和 diversity再从大规模数据池里选出更有价值的训练子集。Axis 博客中表示经过筛选的小数据集用来训练更大的视觉模型时效果可以超过完整数据池。Expert成本下降后能力单元才有可能规模化第三个 finding是低成本单任务 Expert。Axis 的博客显示在少量用户数据或 agent prior 的帮助下用单张 A100 GPU大约 3-6 小时 可以训练出一个接近 100% 成功率的 Expert纯计算成本约 5-10 美元/任务。但不只是成本低。Axis 强调这些 Expert 并不是只拟合一条固定 demonstration path。它们在不同初始状态、外部扰动和控制扰动下仍然能够恢复并完成任务。也就是说每个 Expert 都有一定 operating range。这对组合能力很关键。如果一个 Expert 只能从完全固定的姿态开始那它很难接住上一个模块留下来的状态偏差。现实长时程任务里每一步结束后的状态都不会绝对一致。能组合的 Expert必须能容忍这种偏差。Axis 现在的表述是只要当前状态落在某个 Expert 能处理的范围内它就能接管继续执行。一个 Expert 的结束状态可以直接成为下一个 Expert 的输入状态。这样单任务策略才开始变成 capability unit。它不再只是解决一个 isolated task而是可以被生产、调用、串联。从 thousands of Experts 到 general skillsblog最后部分Axis 还把逻辑推到更大的系统层面。它们已经积累了 thousands of tasks。随着单个 Expert 的生产成本下降scaling 的基本单位也开始变化从 more raw trajectories走向 more fully solved skills。大量 Expert 有两种用法。第一种是直接组合成长时程任务和sudo比较类似。比如抓取、移动、放置、整理每一步都由一个相对稳定的 Expert 负责执行。上层只需要组织流程下层负责可靠完成动作。第二种是进一步抽象成 skill families。Axis 举的例子包括 packing、sorting、handling、tool grasping、object placement。每个 skill family 下面可能覆盖大量具体任务和物体变化。再往后这些 Expert 还可以持续给统一的 VLA / foundation model 提供高质量 rollouts 和 supervision。Axis 他们关心的是当一个 skill family 被覆盖到足够充分之后模型能不能自然泛化到新物体、新布局和新任务实例。所以这篇 blog 的想讲的是先用 Expert 把一个个任务完整解决再把这些能力组合、抽象最后蒸馏进更通用的 foundation model。这个和高继扬之前分享的专精到通用的思路比较类似。在更高层Axis 还提到一种未来架构GPT-6-level agent 负责理解意图、规划 workflow、组织长时程任务底层 Experts 或 general skills 负责稳定执行之前银河通用有一个技术报告专门说了这个事情。写在最后整篇blog给了一个很不错的思路真实数据依然要机器人去场景中采集。但在这之前真机数据成本为0。此外数据的筛选也成为越来越多团队摆在桌上要处理的事情了。也许盲目添加的很多数据正是你们模型效果一直上不来的原因。Axis这次还把skill这个成本算的很清晰以及后面应该怎么使用这些skills达到泛化。这和我们之前对foundation model的理解还是有很大不同的。