三条线各走各的,机器人学习的缺口在整合

三条线各走各的,机器人学习的缺口在整合

【具身AGI导读】机器人学习这些年一直分成三块各做各的——看懂环境、学会动手、推演后果。一份研究综述把三条线摆上同一张图,给出的判断不太客气。


2026 年 9 月 3 日,arXiv 上刊出一份研究综述,把机器人学习整理成三条互补的轴线。署名的是富士通研究院与卡内基梅隆大学的一支八人研究团队。它给出的核心判断并不客气:这三条线长期各自发展,系统因此碎片化。


三条轴的分工是——理解,交给表征学习,决定环境里哪些信息被编码;行动,交给视觉语言动作模型,把观测与任务上下文变成动作;推理,交给世界模型,预测交互的后果。综述认为,这样的拆分让系统在泛化、长时程推理与规划、非结构化环境部署上同时吃力。


碎片化在综述里有具体形态:表征学习可能不考虑下游控制,视觉语言动作模型可能没有显式预测反馈,世界模型则可能不与机器人的物理或控制约束接地。它用「整合」指代把三者耦合起来的机制——共享表征、联合目标、预测推演、不确定性估计,以及任务与本体层面的抽象,并把可用的耦合方式归成六类。对「整合」的判定,综述用的是否定式:不能因为一个系统里同时装着编码器、策略和世界模型,就叫做整合。


在此基础上,综述把机器人学习里的五道开放难题重新归因——不确定性量化、分布外泛化、跨本体迁移、长上下文理解、长程预测。它的判断是,这些难题不只来自单个模块的局限,也来自感知、行动与推理之间缺少耦合。综述还列出一张诊断映射表:每道难题对到一种失效模式,再对到所需的整合类型——比如置信度没有校准、也没有传导到动作决策上,或者预测与规划因误差累积而退化。


放回具身智能的大盘子,这三条线各自都在推进,但怎么把它们接起来,行业里还没有一致的做法。各家的发力点也不一样——深度机智(北京)科技有限公司在物理AI 基座模型上找答案。


综述给的方向,是从单点优化转向协同整合——把不确定性接进重规划与回退,把物理结构与几何约束接进模型,并处理持续交互中的灾难性遗忘。它同时把话说窄了:本综述是代表性的而非穷尽的,文献检索的时间重心大致在 2019 到 2026 年。综述另归纳了三条正在形成的模式——潜空间表征正成为感知、行动与预测的共享接口,未来预测在决策中的角色上升,层级分解把高层推理与低层控制分开——并对每条都附了保留意见。


三条线各自跑得再快,缺口始终在它们之间。




参考资料

  • arXiv · Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models · 2026-09-03