GROW2：面向机器人工具使用的“哪个”与“何处”定位

26年6月来自新加坡国立和美国MIT的论文“GROW2: Grounding Which and Where for Robot Tool Use”。如果没有刀机器人能用盘子切蛋糕吗工具的使用极大地扩展了机器人的能力然而若要创造性地使用工具即超越其预设功能机器人便面临着“开放世界affordance定位”的挑战即从开放类别中选择一个物体作为工具并定位其具体的动作区域。为此提出 GROW2GROunding Which and Where框架。该框架利用物体部件作为一种自然抽象将定位过程分层拆解为语义和几何两个层面从而避免对海量数据进行端到端训练的需求。在语义层面GROW2 利用视觉-语言模型VLM的常识推理能力解析自然语言任务指令选择合适的物体作为工具并识别工具及目标物体上与任务相关的部件。在几何层面视觉基础模型随后根据单张 RGB-D 图像将选定的部件映射为精确的 3D 区域。在既有基准测试上的实验表明GROW2 在affordance预测任务中优于当前最先进的基线方法。人类具备一种非凡的能力能够以即兴方式使用工具在充斥着各种日常物品的杂乱场景中能够识别出哪种物品可用作所需工具并通过恰当的交互方式加以利用 [1, 2, 3]图 1。例如当手头没有刀时可以利用盘子的边缘来切蛋糕。这里目标是将这种能力赋予机器人从而扩展其可行的操作策略并提高其在家庭和仓库等非结构化环境中的鲁棒性。为了实现即兴工具使用机器人必须对环境进行推理确定哪种物品可用作工具并找出该物品上适于执行目标动作的交互区域。与以往关于机器人工具使用的研究不同既不预先指定工具对象 [4, 5, 6]也不依赖于具有预定义“工具-功能”映射的固定工具集 [7, 8, 9]。相反本研究致力于解决开放世界中的“affordance”定位问题即从场景中的开放类别对象集合中选择一个工具并预测其affordance区域。开放世界affordance定位面临两大主要挑战(i) 系统需要从语义层面理解开放类别对象的affordance。例如若要切蛋糕机器人应识别出具有锋利边缘的物体尽管盘子和簸箕在局部几何形状上可能相似但机器人应优先选择盘子。(ii) affordance必须定位到精确的几何区域以便进行后续的操作。这种定位过程应基于具体任务和环境并具备泛化到开放类别对象的能力。传统方法通常构建大规模数据集建立任务与affordance区域之间的映射并训练端到端神经网络 [10, 11, 12]这种方法不仅成本高昂而且难以泛化到未见过的“任务-对象”组合。本文工作来自其核心见解物体的各个部件如刀刃、边缘、尖端等提供一种有效的抽象形式能够同时捕捉affordance的语义信息及其对应的几何结构。基于将部件作为中间表征的思路其提出 GROW2GROunding Which and Where即“定位对象与位置”将affordance定位任务分解为两个层级在语义层面GROW2 利用视觉-语言模型VLM的推理能力来选择合适的工具及与任务相关的部件在几何层面GROW2 利用视觉基础模型将选定的部件定位grounding为三维affordance区域。这种分解方式消除了对大规模affordance标注数据的依赖使 GROW2 能够泛化应用于开放类别的物体。仅凭单视角将选定部件映射到三维空间仍具挑战性因为物体部件往往只能部分可见或者被其他物体或物体自身遮挡。尽管多视角相机设置可以缓解这一问题但其成本通常较高 [13, 14, 15]。GROW2 通过结合二维部件映射与三维重建技术来应对这一挑战。给定单视角 RGB-D 观测数据该方法首先重建高保真物体网格将网格配准到观测场景中从多个视点渲染网格在每个渲染视图中分割出选定部件最后将生成的掩码融合为完整的三维affordance区域。这使得 GROW2 仅需单视角 RGB-D 图像即可恢复出忠实于物体功能的完整三维affordance。1 机器人操作中的affordance预测理解affordance[16, 17, 18] 是机器人与非结构化环境交互的基础。基于关键点的方法将affordance表示为稀疏的功能点 [19, 20, 21, 22]这种方法虽利于学习与规划但表达能力有限而基于二维affordance区域的方法 [23, 12] 虽然能很好地结合视觉基础模型 [24, 25, 26]却缺乏操作所需的几何信息。相比之下本文致力于实现三维affordance区域的定位grounding。端到端的三维affordance预测方法 [11, 27] 往往需要海量的三维训练数据且对开放类别物体的泛化能力较差。此外其中大多数方法假设拥有完整的三维观测信息 [28]这在实际中并不现实。多视图融合方法 [14, 15] 通过整合不同视角下的二维affordance预测结果既利用了基础模型的泛化能力又缓解了遮挡问题。然而多视图方案在实际部署中效率较低且不切实际。GROW2 利用部件表示法part representations来分解affordance定位任务从而能够利用多种基础模型来实现泛化。此外它仅凭单视图观测即可生成完整且符合功能特性的三维affordance区域无需多视图感知。2 机器人工具使用工具使用在机器人领域已得到广泛研究对于扩展机器人能力至关重要。既有研究已赋予机器人多种高级工具使用技能例如切割 [29, 6]、拧紧螺母 [30]、涂抹酱料 [31] 和使用筷子 [32]。尽管取得了这些进展但现有方法大多预先设定了工具及其功能主要侧重于在约束条件下生成动作 [33, 5, 34, 35]。然而在家庭和仓库等非结构化环境中有效的工具使用需要机器人具备以下能力首先识别出合适的物体作为工具随后利用该工具完成预定任务 [1, 36]。在工具选择方面研究人员已尝试利用几何信息通过数学分析 [37, 7, 38] 和数据驱动方法 [39, 8] 来指导选择过程。然而这些方法往往依赖于大量的监督信息或特定领域数据从而限制了其在开放世界中的泛化能力且可能忽略了推断工具功能所需的语义理解。相比之下本文方法利用视觉-语言模型VLM的常识知识在语义空间中选择工具及与任务相关的部件随后将所选部件映射为三维affordances从而支持机器人有效地使用工具。3 GROW2本文探讨机器人使用工具场景下的开放世界affordance落地问题。affordance描述源于智体与环境之间互补性的一种动作可能性 [40]。针对机器人使用工具的场景可将这一概念从“机器人-物体”交互扩展到了“工具-目标”之间的物体间交互。其将affordance定义为两个实体之间的一种非对称二元关系该关系规定了它们如何交互以实现特定动作。为了在空间上实现该关系的落地定位这两个实体上相应的交互区域。在机器人使用工具的任务中对两种affordance进行落地一是机器人手与工具物体 o_A 之间的关系实现抓取二是工具物体 o_A 与目标物体 o_B 之间的关系实现工具功能。输入包括(i) 包含物体 o_i 的单视角 RGB-D 观测数据 (I, D)(ii) 描述任务及目标物体 o_B 的语言指令 l例如“切蛋糕”。输出包括选定的工具物体 o_A 以及相应的落地 3D 交互区域。GROW2是一种用于开放世界affordance定位affordance grounding的方法。其核心挑战在于如何针对开放类别open-category物体实现泛化因为在此类场景下从任务到affordance的端到端映射往往难以奏效 [27, 26]。为解决这一问题引入诸如刀刃、边缘和把手等物体部件将其作为中间线索。利用这些物体部件将affordance定位过程分解为两个层级见图 1所示。具体而言给定语言指令 l 以及环境的单视角 RGB-D 观测数据 (I, D)GROW2 首先选定合适的工具物体与目标物体并确定任务相关部件的名称随后它利用现有的视觉基础模型将这些选定的部件名称定位到 3D affordance区域从而使 GROW2 能够针对开放类别物体实现泛化。1 工具与部件选择GROW2 的初始场景中包含多个杂乱摆放的物体并给定一项由语言指令 l 描述的任务。GROW2 不仅仅依赖几何特征来寻找合适的物体作为工具而是利用视觉-语言模型VLM的常识知识在语义空间中进行工具选择。具体而言GROW2 首先提取所有物体及其部件的名称作为候选对象随后结合任务、观测信息以及提取出的物体-部件候选集执行工具与部件的选择。物体与部件提取。GROW2 首先利用视觉-语言模型VLM列举 RGB 观测图像 I 中的所有物体得到物体名称集合 {o_i}。随后为了增强 VLM 对物体结构的理解并减少针对不存在部件的“幻觉”现象用 SAM3 [41] 根据物体名称对这些物体进行分割并提取相应的图像裁剪区域 {I_i}。针对每一对物体名称与对应的图像裁剪区域 (o_i, I_i)用 VLM 关于物体affordance的知识向其查询并生成一组部件候选集 P_i {p_i,1, p_i,2, …, p_i,j_i}。工具与部件选择。给定 RGB 图像 I 和任务指令 l引导视觉语言模型VLM从提取出的“对象-部件”候选集 {(o_i, P_i)} 中选择工具对象 o_A、目标对象 o_B 以及与任务相关的部件其中P_i {p_i,1, p_i,2, . . . , p_i,j_i } 表示为对象 o_i 生成的部件候选集合。为了提高鲁棒性利用上下文学习in-context learning方法在提示词prompt中包含少量关于工具与部件选择的示例。这些示例明确了预期的输入输出格式并提供“思维链”chain-of-thought引导演示了如何逐步选择合适的工具与部件。通过结合提取出的“物体-部件”候选对象、少样本提示few-shot prompting以及视觉-语言模型VLM的常识性知识GROW2 实现工具使用过程中可控且可解释的工具与部件选择。2 三维Affordance定位在选定工具对象 o_A、目标对象 o_B 以及与任务相关的部件p_G、p_A、p_B之后下一步是将这些部件从语义空间映射定位为可供操作的三维affordance区域。在实际应用中这些affordance区域可能会因场景中其他物体的遮挡或相机视角的限制而产生自遮挡。既有研究通常采用多相机系统来解决这一问题但这往往伴随着高昂的成本和较慢的处理速度。为此提出一种affordance检测方法仅利用单视角 RGB-D 观测数据即可生成完整且符合功能特性的三维affordance区域。如图 2 所示该方法包含两个阶段(1) 三维重建与配准以及 (2) 多视角二维分割与融合。3D 重建与配准。如图 2 左侧所示首先对选定的工具对象 o_A 和目标对象 o_B 进行 3D 重建以缓解单视图观测中固有的遮挡问题。对于每个对象 o_i ∈ {o_A, o_B}给定单视图 RGB-D 观测数据 (I, D)首先利用 SAM3 对对象进行分割生成带有掩码的 RGB-D 裁剪图像 (I_i, D_i)。随后将该 RGB-D 裁剪图像输入 SAM3D [42] 进行重建。为了在相机坐标系下保持对象的位姿和尺度而非重建出位姿和尺度任意的对象将深度裁剪图 D_i 转换为点图 X_i并将其作为重建过程中的几何约束条件。最后为进一步提升几何精度将重建出的网格 M 与原始点图 X_i 进行对齐。具体而言由于 X_i 仅源自局部观测从相同的相机视角渲染网格 M 以生成局部点图 X_M并执行基于 ICP 的刚性配准从而获得从 X_M 到 X_i 的变换矩阵 T。将变换 T 应用于重建网格 M 即可得到配准后的对象网格 M_c该网格将用于后续阶段。多视图 2D 分割与融合。在获取工具对象和目标对象的配准网格后下一步是将任务相关部件 p_G、p_A、p_B 映射为 3D affordance区域。鉴于在开放类别 3D 对象上进行部件定位grounding仍是一项挑战 [11]旨在利用最先进视觉基础模型强大的 2D 定位能力。对于每个部件 p ∈ {p_G, p_A, p_B}首先从多个视点渲染相应的网格 M_c生成一组 2D 图像 I_b。这种多视图渲染方式解决了自遮挡问题并确保任务相关部件 p 可见且能够被成功定位。在实际操作中设定 K 8。对于集合 {I_b} 中的每个图像 I_b利用 SAM3 将描述任务相关部分的文本 p 转化为二维分割掩码 s_k。然而SAM3 有时无法理解某些复杂的文本查询 [41]。针对这种情况为了提高分割的可靠性引入 VLM [43] 作为备选方案将此类描述转换为边框bounding boxes。随后SAM3 基于这些边框生成精细的分割结果。这种设计既利用 VLM 的视觉语义理解能力又通过减少高成本的 VLM 查询提高了效率。最后将多视角的二维分割结果 {s_k} 聚合成三维affordance区域region。具体而言对于集合 {s_k} 中的每个掩码 s_k利用相应的相机参数将其反投影到重建的网格模型 M_c 上从而在物体表面获得一个点集。将各视角的点集进行并集运算得到物体表面上的聚合点集。由于二维分割结果可能存在瑕疵聚合后的三维点集可能包含噪声。因此采用 DBSCAN [44] 算法对点集进行聚类剔除离群点并仅保留规模最大的聚类簇作为预测的可操作区域。GROW2 在现有的 2D 和 3D affordance预测基准测试中表现优异。在两个标准affordance预测基准上对 GROW2 进行评估针对 2D 图像的 AGD20K [12] 和针对 3D 点云的 PIAD [50]。在这两个基准测试中模型均需根据任务指令预测affordance区域。在各基准测试未见过的测试集上评估 GROW2并将其与相应的基线方法进行比较。遵循标准评估协议针对 AGD20K报告 Kullback-Leibler 散度 (KLD)、相似度指标 (SIM) 和归一化扫描路径显著性 (NSS)针对 PIAD报告平均交并比 (aIoU)、ROC 曲线下面积 (AUC) 和平均绝对误差 (MAE)。GROW2 能够有效地在多物体场景中实现affordance的定位。现有的基准测试如 AGD20K 和 PIAD要么直接提供作为工具的物体要么仅涉及相对简单的场景。为了评估多物体场景下的affordance定位能力推出 GROW2Bench在该基准测试中机器人必须首先识别出哪个物体可用作工具进而预测其affordance区域。GROW2Bench 中的每个样本均包含一条任务指令和一张包含至少五个候选物体的场景图像其中affordance区域的真值ground truth由人类专家进行标注。GROW2Bench 涵盖十种任务类型每种类型包含 50 个样本。实验设置。为了评估 GROW2 是否能促进下游的机器人工具使用任务在 SAPIEN 3 [55] 仿真环境中构建了一个基准测试使用 Franka Emika Panda 机械臂进行实验。该基准测试包含五种任务类型敲击Pound、切割Cut、提举Lift、清扫Sweep和倾倒Pour每种类型包含 20 个测试用例。每个测试用例由一条任务指令和一个场景组成场景中包含一个目标物体以及三到五个候选工具物体。对于 GROW2 及所有基线方法基于预测的可操作区域实现底层操作技能并利用 Contact-GraspNet [56] 进行抓取位姿采样及运动规划。基线方法。将 GROW2 与 GROW2Bench 中的基线方法进行对比包括 DINOv3、SD-DINO 和 MOKA。此外还纳入 ICP [54]一种单次 3D 匹配基线方法以及 UAD [26] 和 GEAL [27]分别是 AGD20K 和 PIAD 数据集上表现最好的方法。由于 UAD 和 GEAL 并非针对多物体场景设计在评估时为其提供真值ground-truth辅助。还评估不使用多视图的 GROW2 变体GROW2 无多视角该变体去除 3D 重建和多视图定位grounding阶段。为了验证 GROW2 在实际机器人系统中的可行性针对五类操作任务开展实地实验。如图 4 所示实验环境包含一台配备平行夹爪的 Franka Research 3 机械臂以及用于获取 RGB-D 观测数据的 Intel RealSense L515 相机。将 GROW2 与 MOKA [53] 进行对比后者是此前在affordance预测与仿真实验中最强的基线模型。针对每类任务在 10 个场景中对 GROW2 和基线模型进行评估并在相同的底层技能实现条件下记录成功率。每个测试场景均包含一个目标物体和至少五个作为潜工具的其他物体。GROW2 能够可靠地部署于现实场景中。由于 GROW2 无需额外的领域内数据进行训练因此它可以直接部署在真实机器人上并实现与仿真环境相当的性能。GROW2 对现实世界中带有噪声的深度观测数据具有鲁棒性这是因为它通过精确的多视图渲染基于重建的网格mesh计算affordance区域相比之下基线模型则容易受到深度测量缺失或错误的不利影响。补充说明AGD20K [12] 是一个二维affordance定位grounding基准包含来自 36 个affordance类别的 20,061 张外中心视角exocentric图像和 6,060 张自中心视角egocentric图像。遵循 AGD20K [12] 中定义的评估流程并采用与既往研究相同的指标在​​未见过的测试集上将 GROW2 与基线方法进行比较。PIAD [50] 是一个三维affordance定位基准包含涵盖 23 个物体类别和 17 个affordance类别的 7,012 个点云。遵循 PIAD 定义的评估协议使用与先前工作相同的指标在​​未见过的测试集上将 GROW2 与基线方法进行比较。由于 PIAD 中的点云不包含颜色信息因此难以利用语义线索进行affordance定位。然而在实际应用场景中采集点云时通常也能获取 RGB 图像。为了在该基准上评估 GROW2进行如下调整在多视图渲染之后获得一组深度图像随后利用 ControlNet [58] 根据这些深度图像生成相应的 RGB 图像并对生成的 RGB 图像进行部件分割其余的处理流程保持不变。在GROW2Bench 基准测试中机器人必须首先识别出哪个物体可用作工具进而预测其affordance区域。其构建流程如下首先利用 Gemini 3 Pro [59] 生成一份详尽的家居物品清单涵盖 82 个物品类别。接着针对 10 种任务类型中的每一种定义一组包含 4 到 8 个候选对象的合理目标物体集合。随后请 Gemini 3 Pro 为每种任务类型列出可能的工具对象清单。该清单经由人工标注员核实与筛选最终确定每种任务类型对应 10 到 20 个工具候选对象。对于每个测试场景随机抽取(i) 任务特定目标集合中的一个目标物体(ii) 相应工具候选集合中的一个工具对象(iii) 家居物品清单中的四个干扰物体。下一步使用 Nano Banana Pro [60] 生成包含这六个物体的桌面场景图像并确保指令中提及的目标物体位于图像中心附近。针对 10 种任务类型每种生成 50 个场景总计构成 500 个测试场景。此外开发一个基于 Web 的标注界面用于收集人工对工具对象及其对应affordance区域的选择结果。首先展示若干示例以帮助标注员熟悉操作流程。针对给定的图像及其对应的任务指令机器人技术专家需选定合适的工具对象并围绕该工具的可供性区域绘制边框。利用 SAM 3 将每个边框转换为二维分割掩码以此作为标注的affordance区域。为降低个体偏差招募 10 位机器人技术专家并汇总他们的标注结果。为 GROW2Bench 实现了几种无需训练training-free的基线方法并将其归类为单样本one-shot和零样本zero-shot设置。单样本基线依赖于演示demonstration和特征匹配来选择工具并定位其affordance区域而零样本基线则利用视觉语言模型VLM的语义和空间理解能力。对于单样本基线为每个任务类别提供一个演示。每个演示包含常规工具的 2D 图像和 3D 点云观测数据以及工具上标注的affordance区域图 12所示。例如在敲击任务中常规工具是锤子在 2D 图像和 3D 点云上都标注了其affordance区域。单样本基线方法的具体细节如下。SD-DINO。首先利用 VLM 列举场景中的物体并获取其名称。随后根据物体名称使用 SAM3 [41] 对每个物体进行分割并提取相应的图像裁剪区域crops。接下来将每个裁剪区域与演示中的工具图像进行匹配并选择相似度得分最高的裁剪区域作为目标工具。为了提取匹配特征使用 SD-DINO [52]该方法结合 Stable Diffusion [61] 和 DINOv2 [62] 的表征能够同时捕捉全局上下文和局部细节。为了进一步提高匹配的鲁棒性利用 SD-DINO 特征计算“最佳伙伴相似度”Best-Buddies Similarity, BBS[63]。BBS 通过识别特征空间中互为最近邻的局部图像块对一对来自裁剪图像另一对来自演示图像来衡量结构相似度。底层技能实现的细节如下。本文提出一种通用的方法用于在机器人使用工具的场景中实现affordance的定位grounding即在工具和目标物体上生成三维affordance区域。这些affordance区域为后续的底层动作生成包括策略学习 [64, 65, 66, 67] 和运动规划 [68, 69, 70, 71]提供了信息丰富的先验知识。在本研究中采用运动规划作为底层模块以评估预测出的affordance区域能否支持成功的后续操作任务。基于预测的affordance区域利用其功能语义和局部几何特征指导抓取位姿的采样以及工具位姿序列的生成从而实现预期的工具-目标交互。具体而言首先利用 Contact-GraspNet [56] 在预测的抓取affordance区域内采样候选的末端执行器抓取位姿。随后利用与工具功能相关的affordance区域定义既针对特定任务又具备泛化能力的物体级关键位姿这些关键位姿规定了任务执行过程中工具与目标物体应如何进行交互。每个关键位姿都关联着一个几何约束该约束基于工具和目标物体的预测可供性区域来定义。图 15 展示了每项任务的一个典型关键位姿左上图显示了工具的affordance区域左下图显示了目标物体的affordance区域右图则展示了相应的关键位姿。仿真实验细节如下。为了评估 GROW2 预测的affordances能否有效支持机器人使用工具在 SAPIEN 3 仿真环境 [55] 中利用 Franka Emika Panda 机械臂构建一个工具使用基准测试。每个测试用例包含一条任务指令和一个相应的场景。为了构建用于评估的多样化场景从 Objaverse 数据集中选取 85 个 3D 物体资产这些物体涵盖了广泛的类别、尺寸、形状和外观特征。针对每个场景遵循以下规则随机采样物体首先采样任务指令中提到的目标物体随后采样 3 到 4 个物体作为候选工具。每个被采样的物体都被放置在桌面上其位置和朝向均为随机设定同时确保物体位于机器人的可达工作空间内且不与其他物体发生碰撞。在评估设计上确保每个场景中至少有一个候选工具能够成功完成指定任务。通过这一流程构建了 100 个多样化的场景。如图 16 展示了仿真实验中的部分场景示例。