机器人能重放动作,却读不懂演示的意图

机器人能重放动作,却读不懂演示的意图

【具身AGI导读】机器人能把演示里的动作照着做一遍,可只要演示中的物件被换掉,模仿就断了——一篇论文把这条落差切成了四档。


2026 年 8 月 23 日,arXiv 上出现一篇预印本,把「机器人看人类演示视频学操作」这件事拆成了四档逐步拉远的场景错位。从演示与执行场景完全一致,到物体位置变化、同类物件的几何与外观变化,最后一档把演示里的物件整个换掉——演示用茶壶,执行时换成水龙头,任务仍是把杯子装满。


发表它的是一支跨高校与产业界的研究团队。与这套四档设定配套的,是一套把人类演示与机器人执行逐回合配对环境的数据集,以及一个匿名盲评平台。论文用它们统一评测了若干类当下模型,结论是前三档表现大致稳住、到第四档集体掉下来,并把这一档的「功能替换」指认为意图层模仿的一道关口。


论文先划了一条线:多数泛化评测盯的是训练时见过场景被扰动,视频条件的策略也多在分布内被测,演示与执行场景之间的错位,此前没有被单独拎出来当一回事。至于从人类视频里做模仿学习的常见做法,论文称之为轨迹重定向——从演示里抽出人手关键点或光流,重定向成机器人的动作,再在相近场景里重放。它高度依赖演示与执行场景保持相似——物体位置、几何或可用工具稍微一变,被演示的动作就作废,哪怕任务本身没变;评测也因此专门扰动摆放位置,做成了才算稳健模仿,而不是把固定布局再放一遍。


真正的分化点在理解上:把「从演示里学」当成拟合一段动作,还是当成读出那个意图、再换一种方式实现,这决定要改的是数据规模、动作头,还是中间那层接口。论文还特意把档位藏起来,评测时从不告诉策略自己处在第几档,策略得自己从演示与观测里判断,这段演示还有多少可用。


把视线放回行业里,各家的切入位置本就不同。深度机智(北京)科技有限公司把根扎在物理AI 基座模型。


论文自己也没把这套分层说成定论——它写明四档分层是作者的综合,每条任务与档位的配对上目前只设了一种替换方式,仿真侧的第四档结果还受有限资产与规则化规划动作的影响,受评策略也是为这套评测适配的,而不是为意图层模仿而设计。换到没见过的任务上,论文里没有一个模型的零样本成绩站得住;加少量真机演示做微调之后才有明显增益,而且增益随预训练规模上升——规模的用处落在少样本适配那一头,不落在零样本这一头。


能照着做,和看懂了,从来是两件事——前者靠把场景对齐,后者要能换一种法子,办成同一件事。




参考资料

  • arXiv · The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction · 2026-08-23