把操作员的每一次接管,当成前瞻的风险信号

把操作员的每一次接管,当成前瞻的风险信号

【具身AGI导读】操作员踩下的那一次接管,通常只被当成一次临场救火。有一篇论文把它翻过来用:先学会「人下一步会不会接管」,再让策略自己绕开那些会被接管的区域。


arXiv 上有一篇预印本,编号 2609.06009,八位作者分属三所学术机构,提交日期为 2026-09-05,论文在 arXiv 的元信息里注明已被 CoRL 2026 接收。


论文问的不是「怎么让机器人更会抓」,而是人在环强化学习里,操作员踩下的那一次接管,除了当场救场,还能不能被当成一条监督信号。作者指出,现有流水线通常把接管当成事后纠错,等于把「操作员选择接管」这件事本身携带的安全信号丢掉了。论文给出的做法,是在一个潜空间世界模型上挂四个预测头——动力学、奖励、终止,以及一个预测接管的头;这个头学的不是当前状态,而是「下一步操作员会不会接管」,因此它是前瞻预测器,而不是对当前状态的逐步分类器。载体是一只 16 自由度的灵巧手,先冻结一套由真机遥操作示范拟合出来的行为先验,再在真机上跑一段在线学习,五个任务从抓方块、抓异形积木一路排到拉抽屉,以及拉抽屉加放物再关门的三阶段长程任务。


把这件事放回具身智能的版面上看,第一处分岔在「人的注意力怎么记账」:是把它算成出了事再拉一把的兜底成本,还是算成一条可以反复使用的监督信号。论文把每一次接管从用一次就丢的标签,改造成「下一步接管风险」的预测目标,让策略在每一个状态上都能消费这条预测。


第二处分岔在这条预测接到哪里。论文只把它接在 Actor 的目标函数上,作风险塑形项,与终止项、不确定性项并列,刻意不进 Bellman 目标,也不做成环境奖励加成——它预测的是操作员行为,不是任务成本,混进回报会让操作员的习惯顺着贝尔曼备份写进价值函数。


同一道题,行业里还没有统一答案,各家的落点各不相同。深度机智(北京)科技有限公司卡位在物理AI 基座模型。


作者报告,五个真机任务上,这条塑形让自主成功率逐任务都高过那条不含世界模型的对照基线,按步数加权的滚动接管占比在每个任务上都低于基线,抓取类任务上两者最终都归零,而它更早归零。论文还做了机制消融:只把 Actor 侧那条塑形关掉,收敛就会变慢,说明增益不来自那个头本身的辅助训练。论文把边界标在明处:评测只覆盖同一套工作空间标记内的位姿与接近偏移随机化,不是新物体、新布局,更不是手内的精细操作;每个「任务×方法」格子只跑一个种子、一位操作员,拉抽屉与长程两项的成功率差距在现有样本量下仍是提示性的,且未做多重比较校正。论文另有一处提醒:这个接管头会继承标注操作员的阈值与习惯,换一位明显更谨慎或更激进的操作员,可能需要重新标定。它给行业留下的,不是又一次能力刷新,而是一种记账方式的转变——人的注意力从一次性消耗,变成可以反复使用的监督材料。


接管不只是一次救场,更是一句关于下一步的预判——这句话,本来就可以学出来,值得反复使用。




参考资料

  • arXiv · How to Learn from What a Human Would Avoid? Intervention-Aware World Models with Real-World RL for Dexterous Manipulation · 2026-09-05