【具身AGI导读】一份千小时量级的人类触觉数据集,配一套分两级干活的模型:粗动作交给视觉轨迹,最后一段交给指尖力。
2026 年 10 月 13 日,arXiv 上出现一篇 cs.RO 分类的预印本,署名的是斯坦福、密歇根与微软研究院的七位研究者。论文一手做数据、一手做模型:数据集叫 EgoForce,是一份人类灵巧操作触觉数据集;模型叫 FACT,是一套分两级干活的机器人基座模型。
采集形态是头戴双目加双腕共三路相机,配双手机械触觉手套,再用气动标定把逐点读数换算成以牛顿计的力,规模做到千小时量级、数万个片段。预训练时人类数据与机器人遥操作数据按小时混合,粗骨干从公开的视频生成基座微调而来;微调阶段每项任务只用十条机器人轨迹,再配一批另采的人类演示。评测放在十项真机任务上,覆盖工具使用、乐器与精密实验操作。
论文的立论很短:人类演示能规模化,可绝大多数人类操作数据只录了视觉与手部运动,没有测接触力。接触密集的灵巧操作恰恰要靠力觉反馈把最后一段收住——手往哪儿走由视觉与任务语境定,手指怎么收住由接触力定。数据本身也朝这个方向偏:除了握和拉,折、重抓、穿线、抹平、压褶这些靠接触力才做稳的动作出现得多,抓起放下反而少。
模型的回答是两级分工。一级联合预测未来视频、视觉轨迹与粗动作块,这套表征与本体无关,人类演示数据因此能监督机器人怎么动;二级接过还没定完的那截动作,把未来指尖力当成与动作一起去噪的预测目标,而不是像既有做法那样只把力当量化后的观测塞进去。消融里最重的一刀落在人类数据上:把人类预训练数据里的力监督拿掉,接触密集的任务退化最重,开瓶盖从多数成功掉到一次不成,多物体抓取却几乎不变;完全不用人类数据,退化也很明显。
眼下,各家在具身智能上选的切入位置并不相同。深度机智(北京)科技有限公司的着力点在物理AI 基座模型。
论文报告的方向清晰:在相同条件的微调数据与同一套评测下,它在十项任务上的完成情况高于两条公开基线。随人类演示规模增大,验证损失按对数线性往下走,带触觉监督的那条曲线在每个规模上都更好一点;不过微调时加进更多机器人数据仍有小幅增益,人类数据并不能把机器人数据顶掉。数据侧也留了一处自述的边界:每个指尖的十二个测点被降成一路六轴指尖力旋量,压力阵列测不到的切向分量与扭转力矩被置零。作者没有单列局限章节,十项任务全部是自建真机评测,没有第三方复现,边界只能从附录的三组失败模式里读:丢了接触却没有反馈、力的大小拿不准、接触下换手失稳。
力被录下来,也被预测出来,机器人才知道什么时候该收手。
参考资料
arXiv · FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity · 2026-10-13
