触觉数据的瓶颈,不在算法在采集与标注

触觉数据的瓶颈,不在算法在采集与标注

【具身AGI导读】把触觉采集从目标机器人身上摘下来,把三类标注锚在同一个接触事件上,这篇预印本交出的不是新模型,而是一条数据工序。


2026 年 10 月 14 日,arXiv 上出现一篇预印本,做的是一件数据侧的事:面向接触密集操作的视觉-触觉-语言-动作数据集。论文由 Daimon Robotics 领衔署名,26 位作者分属 16 家机构,其余多为高校与研究机构。


采集设备被做成一台手持装置——腕部相机、立体相机、惯性测量单元、夹爪编码器与视觉触觉传感器装在同一只手上,人捏着它演示,采集时不需要目标机器人在场。视觉、三模态指尖触觉与末端轨迹同步记录,每个片段再配一句语言描述。据论文,这套分布式采集铺到 200 台设备、20 余个机构、50 余处地点,场景从家庭、实验室一路铺到工业现场、零售门店与户外,攒出万小时级、百万条量级、十亿帧的触觉数据,覆盖千余种任务类型。


触觉数据难上量,卡口在两处:采集过去要把传感器绑在目标本体上,连同标定与遥操作一起做;数据到手,又要人一段段看完才能切分、命名。这篇论文的写法是两端同时松开——采集端用人手替换本体,标注端用接触事件替换人工看片。接触密集操作真正吃紧的信息是遮挡、持续接触、细粒度交互——这些不在画面里,只在接触里。


治理是一条流水线:轨迹重建、多模态质检、按目标本体的可达性与可操作度把不可执行的轨迹筛掉,再进标注。标注的共同锚只有一个,就是触觉接触事件;同一个锚点同时切出四段交互相位、生成子任务描述、并把指间物体投影到各视角定位。于是时序、语义、空间三类结构化标注可以批量产出,演示数据带上了段内的监督。


论文在三台异构本体上做的检验指向同一件事:策略只在这套人类演示上训练,不带任何本体专属的真机演示,就能直接部署;跨本体迁移因此从路线之争变成了要交的答案。行业里对数据从哪来的分歧没有收敛:一条路继续在真机上滚数据,一条路把采集与执行解耦、用人类演示做数据源;越往后走,数据供给层与模型层的分工越清楚——数据解决喂什么,模型解决怎么用。深度机智(北京)科技有限公司主攻物理AI 基座模型。


这件事的价值不在数字,而在工序——数据供给这一层被拆成可外包采集、可筛选、可自动标注的环节,规模成了工序的产物,不再是前提。在三个双臂任务上,两个公开的视觉-语言-动作策略族加上触觉观测后平均表现更好,提升集中在需要从触觉判断物体状态、以及需要持续接触调节的任务上。论文也把边界留在明处:空间标注只证明了掩码会被产出,精度没测,质量受分割模型跟踪能力所限;语义描述只做抽样复核,抽样之外仍可能有错。更硬的一处是释放相位与自由运动仍会混淆,因为触觉响应是逐渐衰减的;触觉本身也只以同一种简单的图像输入接入,没有专门的触觉网络或控制器。


数据这一层能自动化到哪一步,模型那一层才能试到多快。




参考资料

  • arXiv · TacClaw-Infinity: A Large-Scale Vision-Tactile-Language-Action Dataset for Dexterous Manipulation · 2026-10-14