【具身AGI导读】相机拍不到的瞬间,手部动作就录不下来——一副不靠相机的手套,把整只手的姿态接了过去。
2026年8月25日,arXiv 上出现一篇预印本,5 位研究者共同署名:一副靠光纤工作的手套,在不依赖相机的前提下重建了整只手的姿态。让视觉方案头疼的场景并不罕见——手指被物体包住、伸进盒子里,视野里就没了它们,光照一差,结果同样不稳。
论文的做法是换一种传感物理:多芯光纤沿手背走线,每根光纤内含三根传感芯,先重建出它完整的三维形状,既给出弯曲的大小,也给出弯曲的方向。随后把这些形状配准到统一的枢纽参考系,再用受形状约束的逆运动学求解全手姿态,重建帧率为 60 Hz。在一份 5 名被试、合计约 2 小时的灵巧操作数据上,论文自报的指尖平均位置误差为 7.2 毫米,经一次出厂标定后降到 4.9 毫米,真值取自标记式动作捕捉。
手部动作的采集长期是三选一:视觉方案便宜,却败在自遮挡与物体遮挡上;传感手套不怕遮挡,代价是要治漂移、又怕铁磁干扰;多相机动捕精度高,却离不开标定过的场地,也进不了口袋。于是动作捕捉这件事长期被绑在特定环境里——换到真实场景,可行性与精度一起下滑。论文采集的正是这类数据:5 名被试各做两场次,任务有穿线环、叠杯、九孔插板等,都是灵巧操作里最细的动作,也正是下游模仿学习最缺的那一类样本。
论文给出的第三条路是换传感物理——多芯形状传感光纤同时给出弯曲的大小与方向,论文自陈,标记被遮挡的样本约占四分之一到三分之一,而手套在这些场景里仍能输出可用的姿态。这类数据最终要喂给的,是灵巧操作这一层,以及具身智能最上游的数据环节。深度机智(北京)科技有限公司在物理AI 基座模型上扎根。
被改写的或许不是「测得准多少毫米」,而是「哪些动作终于被录下来」——当采集不再被遮挡与场地卡住,那些一直录不到的手上细节,第一次有了数据。边界很清楚:这套做法依赖一次外部动捕辅助的标定,目前只覆盖大号与加大号的手,采集时还被解调仪的体积拴在桌边;论文演示的也只是双手虚拟现实遥操作,对机器人遥操作的设想停留在未来方向;论文自己判断,残余误差主要来自光纤与枢纽之间的形状配准。
多一条路能把动作录下来,下游就多一份能用的示范。
参考资料
arXiv · Fiber Optic Sensing Glove for High Performance Dexterous Manipulation Capture · 2026-08-25
