世界模型不总跟随动作,离开专家轨迹就失真

世界模型不总跟随动作,离开专家轨迹就失真

【具身AGI导读】把动作从专家轨迹上挪开一点点,一个被当成仿真器用的世界模型就可能露馅:要么画面崩掉,要么画面好看、做的却是另一套动作。


2026 年 8 月下旬,arXiv 上出现一篇预印本,把「学出来的仿真器到底听不听指令」这个问题直接摆上台面。署名的是 10 位研究者,来自中国、美国、新加坡等地 6 家高校与科研机构。


论文先指出,近两年世界模型越来越多被当成学出来的仿真器,用来做策略评测、生成训练数据,而这套用法压着一条从未被验证的假设:模型生成的未来,会忠实反映任意合法的动作输入。接着它做了一次体检——同一个画面起点,把动作换成专家轨迹之外的合法动作,失效立刻分成两种:一种是画面直接崩掉,机械臂变形、夹爪消失;另一种画面看着没问题,做出来的动作却跟被指令的那套不是一回事。论文随后在一套面向双臂操作的仿真基线里铺开数十项操作任务,结论是:六款按专家演示训练的世界模型,在非专家动作下的误差普遍变大。


把世界模型当成学出来的仿真器,用它来评测策略、再造出训练数据,已经是具身智能这几年的一条隐性依赖。这条路径的评测口径却几乎只压在专家演示上——动作一旦走出专家分布,误差就没被真正量过。


要让模型真正跟随动作,行业里能看到两条不同的使劲方向:一条是把训练分布铺得更开,让模型见过更多「动作会带来什么后果」;另一条不求铺量,而是把视频的中间表征钉在动作诱发的动力学上,直接监督「动作一变、预测该怎么变」。论文给出的训练配方把两件事都做了——扩开动作覆盖,再给表征加一路监督,让它从中间特征里解码出动作诱发的未来末端轨迹(推理时这一路被移除),并用同一观测、不同动作的成对轨迹,把预测的变化对齐到真值的变化上。消融实验给出的分工很干脆:扩大覆盖本身就能改善动作一致性,而不主要靠视觉质量;对轨迹对齐贡献最大的是那路成对轨迹监督;单独加表征监督,动作指标没见改善,但抬高了视觉通过率。


论文还把改进后的世界模型接回策略迭代,做了两轮:在固定交互与训练预算下只换世界模型这一项条件,仿真任务上的策略成功率自五成上下抬升到六成半上下,真机叠杯子任务上的成功率同样出现明显抬升,而对照条件的涨幅明显更小。论文自己划的限定也很明确——优势是单项指标上的平衡,而非全面占优,在原始轨迹误差那一项上还有一款基线更低。

物理AI 基座模型是深度机智(北京)科技有限公司的着力点。

这篇论文改写的不是哪一款世界模型的成绩,而是「它够不够格当仿真器」的判断依据。评测口径只压在专家演示上,低估的误差就会顺着仿真一路传到真机上。边界同样清楚——长时程交互、跨本体与开放环境仍是全领域的共同难题,真机上目前也只做了一项任务。

只在专家轨迹上灵的世界模型,学会的不是规律,是复读。




参考资料

  • arXiv · Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning · 2026-08-25