腾讯：具身认知模型实现图文联合规划

标题RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination来源arXiv, 2607.14187v1️文章简介研究问题如何弥合视觉语言模型擅长抽象推理但缺乏物理状态想象与世界模型擅长预测未来但缺乏因果逻辑之间的鸿沟从而实现真正的具身认知主要贡献论文提出了RxBrain一种具备联合语言-视觉推理与想象能力的具身认知基础模型通过统一的混合Transformer架构在单一规划序列中互补地结合文本逻辑与视觉状态预测。重点思路采用模态感知的混合TransformerMoT架构包含语言和视觉两个专用分支。视觉分支中理解与生成Token共享注意力投影但路由至不同的前馈网络专家实现了感知与想象的内部交互及语义对齐。设计了自动化的联合规划数据构建流水线将具身视频分解为以动作为中心的片段通过关键帧采样、候选步骤提议和边界细化将视频转化为文本描述与视觉状态转换对齐的监督数据涵盖从单步状态变化到最终任务目标的四个层级。引入交错生成机制模型自回归地交替输出文本推理步骤和对应的视觉状态想象。文本提供任务分解、约束和决策逻辑视觉想象则通过流匹配在VAE潜空间中预测中间及最终物理状态形成闭环规划。扩展了动作生成能力通过门控专家融合机制复用预训练的生成专家知识无需大规模动作数据预训练即可直接生成连续机器人动作并在真实机器人上验证了其有效性。分析总结在通用图像生成基准GenEval上RxBrain得分与专用生成模型相当证明了其在保持强大生成能力的同时未牺牲多模态理解能力。在具身空间理解方面RxBrain在多视图和3D理解基准上表现优异但在细粒度空间定位和轨迹推理上仍有提升空间显示出其在宏观任务结果判断和多轮模拟规划上的优势。在RxBrain-Bench基准测试中RxBrain在联合子目标规划任务上显著优于模块化基线和统一基线模型。其文本推理能力强于视觉生成视觉想象的质量如时间连贯性和物理合理性仍是主要瓶颈。在真实机器人部署实验中基于RxBrain的动作生成策略在摆放餐具、折叠眼镜等复杂操作任务上的成功率高于π0和π0.5基线验证了从多模态预训练中迁移世界知识用于动作控制的可行性。个人观点论文打破了传统具身AI中“理解”与“生成”分离的范式将文本的逻辑结构与视觉的物理状态预测耦合在同一个自回归规划序列中。