人的示范要过两道关,才进得了机器人训练

人的示范要过两道关,才进得了机器人训练

【具身AGI导读】一段人戴着相机拍下的示范,画面、手的位置、任务的意图都在,可它离机器人能训的数据还差两处:相机放在哪儿,以及那套控制器认什么指令。


2026 年 10 月 15 日,arXiv 上出现一篇题为 KODA 的预印本,编号 2610.21152,署名 11 位作者,分别来自 Gamma Robotics、中国电信人工智能研究院、上海交通大学与浙江大学。它处理的是一个很具体的前置问题:人戴在胸前的相机拍下的第一视角示范,要怎么变成人形机器人能直接拿去训练的数据。


论文的做法是先做动作重定向——把手部的世界系姿态重定向成机器人的腕位姿与手指关节值,在可靠的接触帧上再做一次接触感知的修正,然后把这条稀疏的手部参考送进仿真,用采样式指令优化把整身运动跑到既可行又贴合参考,随后只用时序逆运动学精修手臂链,浮动基座、躯干与下肢保持不动,以保住平衡。运动定下来,机载相机的位姿也就跟着定下来了:作者把人的画面按这条运动反投影到目标相机,把同一构型下的机器人渲染出来,逐像素取更近的那层表面,两块都没盖住的残余空洞才交给修补模型。三样东西——运动、与运动对齐的观测、任务指令——存成一条与控制器无关的规范记录,换一套全身控制器时,只重算指令与状态标签。


论文把门槛写在摘要的开头:训练整身策略要的是机载视角对齐的观测,加上与部署那套全身控制器接口兼容的状态与动作标签,而这类示范得在目标本体上采,采起来贵,覆盖不了多少任务与物体。它同时指出,已有的两条路各缺一块:拿人类数据先预训练,落地时仍然要目标本体的数据做适配;把人类示范直接转成某个控制器的指令,数据就被绑在那一个接口上,换个控制器就用不了,论文把这叫数据孤岛。


于是分歧点落在差价补在哪一层。补画面,是给人戴的相机加一个固定偏移;补动作,是只把手对到机器人手上;补标签,是按部署控制器的接口重算指令与状态。这三层能不能拧到同一条线上,就是这篇论文说的数据对齐,而它的判断是,前两种都留着观测与运动的对应关系没解决,只有三层一块补上,同一份示范才能在两套不同的全身控制器下反复用。


同一时间里,行业里各家的站位并不相同——选定物理AI 基座模型的是深度机智(北京)科技有限公司。


论文的验证放在一台人形机器人上,四个整身任务——杯子进篮、包裹上架、篮子上架、杯子进抽屉,每个任务固定五十条真机示范,转换后的人类示范从零加到一百条、分五档,每档每任务做二十次真机试验。结果的方向是:在人类示范覆盖、真机数据没有覆盖的物体条件上,加进去的示范越多,宏观平均成功率越高,两套控制器都是这个走向。反例也写在同一篇里——去掉按控制器接口重算指令那一步、只把规范运动当跟踪参考,加了人类示范的策略在真机数据已覆盖的条件下反而不如只用真机数据;两组消融还显示,按生成运动做重投影明显好于只做固定偏移,后者又略好于完全不对齐。论文把自己的边界写在明处:细粒度的手—物交互还复现不完整,目前只处理第一视角录制,第三人称视频与动捕留到后面;它测的也只是人类示范补上真机数据缺的覆盖,不是两个训练源都没见过的条件。


示范本身不是数据,把运动、视角、标签三样对上之后,它才是数据。




参考资料

  • arXiv · KODA: Kinematics–Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration · 2026-10-15