VLAff：用于统一可操作Affordance的视觉-语言-Affordance模型

26年8月来自东京大学的论文“VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances”。一、 论文介绍 (Introduction)1.1 研究背景与动机机器人的扩展性难题：从人类示范视频中学习机器人操控（Manipulation Skills）是实现大规模扩展机器人学习的潜在路线。然而，人类与机器人的物理结构（Embodiment）差异巨大，难以将视频动作直接映射为机器人控制信号。Affordance作为桥梁：以物体为中心（Object-centric）的Affordance不依赖于具体机器形态（Embodiment-agnostic）。过去的方法多依赖静态实验室的专用传感器，或者仅预测单一模态（如仅预测 2D 接触热图、仅预测手势抓取或仅预测 3D 轨迹）。核心挑战：目前缺乏一个能统一结合视觉（Where to interact）、抓取（How to grasp）和轨迹（How to move）三大可操作（Actionable）Affordances的统一表达与通用基础大模型。1.2 主要贡献构建大规模数据集 EgoAffordance：利用最新的 3D SfM（Structure-from-Motion）、手部网格重建及图像修复技术，从大规模第一视角（Egocentric）人类视频中自动化提取包含 20.4万个 Episode、560万个视觉热图、1160万个抓取姿态与轨迹的高质量数据集。提出统一大模型 VLAff：基于多模态的视觉-语言模型（VLM，基座为 Qwen2.5-VL），引入专门的 、 和离散化轨迹 Token（p*），在一个统一的框架内多任务联合预测视觉、抓取姿态和 3D 轨迹Affordance。实现高效的机器人下游应用：零样本操控（Zero-Shot Manipulation）：在仿真与真实环境中无需任何任务特定训练直接