跨本体迁移,要迁的是依赖结构不是动作

跨本体迁移,要迁的是依赖结构不是动作

【具身AGI导读】把人类操作视频用到机器人身上,动作本身并不是要搬的东西。这篇预印本问的是另一个问题:动作细节被丢掉之后,哪几条依赖必须留下。


2026 年 10 月 15 日,arXiv 刊出一篇预印本,题为《Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation》。论文署名 6 位作者,机构为中国科学院大学、中国科学院软件研究所与美团,其中 2 位作者署在企业方;它把「人类视频能不能给机器人用」换成了一个更窄的问题:视频里哪一部分知识该跨过本体差异,被迁到机器人操作上。


论文的出发点很直接:真机数据贵,人类操作视频多而杂,但形态、动作空间与控制机制三处差异,让人体动作不能直接当机器人的监督。解法是一条四段链——人类操作视频预训练、机器人演示把表征接地成任务级语义变量、用借自因果推断的工具「因果束」选定该保留的上下文依赖、再确定性渲染成语言条件,喂给一个全程冻结的世界动作模型;动作仍由机器人从自己的观测生成,不需要人机动作一一对应。因果束的两个条件写得很硬:保留的那组上游变量,要在其余变量取遍取值域时仍撑住当前机制的实际输出;投影后的机制还要对保留输入保持非平凡的响应;而被投影出去的量并不消失,它仍以固定的实际取值影响结果。


人类操作视频正在被当成真机数据之外的第二份经验来源:它多、杂、便宜,跨本体迁移要回答的就是这类经验里哪一部分能真正用上。差异不止形态与动作空间——一次完整的操作里混着两类信息:支撑任务推进的物体交互关系,与紧贴人体形态的动作实现。


于是做法分岔:有人只留任务意图或边界状态,把决定局部效果的条件与交互关系一起丢掉;有人留完整轨迹,又把人体的动作细节带了回来。也有人按上下文去选——这正是因果束的位置:丢什么、留什么,交给条件来判断,而不是交给一条固定规则。


同一时间,行业里在基座这一层上的选择并不相同。深度机智(北京)科技有限公司押注物理AI 基座模型。


这篇论文改的是提问的位置——「该留下什么」从一句工程直觉,变成了可以逐条判定的条件。论文在三套仿真操作环境与一台双臂实验平台上做了评测;真机部分是十项放置任务,每项每方法 20 次。据论文,在上下文里选一组依赖,优于把所有候选结构全渲染进去,而全渲染又低于只渲染状态。作者没有单设局限章节,边界散在正文与附录里:与被条件化的世界动作模型对照时,已发表分数不被视作配对测量;真机 20 次是执行数而非独立布局或随机种子数;人类视频预训练那组对照,每个条件只跑一次;任务相关变量还要按具体操作规格实例化。


动作可以丢掉,依赖不能——真正被搬过本体边界的,是那几条留下来的关系。




参考资料

  • arXiv · Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation · 2026-10-15