护栏拦得住明说,拦不住暗示的恶意

护栏拦得住明说,拦不住暗示的恶意

【具身AGI导读】任务不变、物体不变、场景不变,只把「为什么让我做」这一句从直说改成暗示——机器人照做不误,护栏却基本拦不住。


2026 年 10 月 5 日,arXiv 刊出一篇预印本《What the Guard Misses, the Robot Executes: Implied Harm in VLA Instructions》,编号 2610.05818,两位作者同署哥伦比亚大学,分类属机器人学,提交记录里只有一个版本,备注栏写的是仍在投稿,没有录用信息。


论文的起点是一条前提:视觉语言动作模型只输出动作、无法拒绝,具身智能里的开放式指令因此只能靠策略之外的监控来筛——读指令的文本护栏,或者读模型内部激活的探针。作者把变量卡在一处:任务、物体与场景全部固定,只改「为什么让我做」这一句的表述层级,把恶意暗示出来、陈述为事实、直接说明,三档各配一条长度相近的无害对照,任务本身一字未改。


结果是被测的那套机器人在每一档表述下都照做,完成率与无害对照基本持平——把恶意直说出来,也没有改变它做的事。三款通用文本护栏则只拦得住直接说明那一档,暗示与陈述为事实这两档基本放过,论文的判断是,这些护栏读的是措辞,不是伤害。


论文把可选的检查位置数了一遍,它们都在策略之外:读指令的文本护栏、指令之上的规划器或判官、动作上的过滤器,以及读模型内部激活的监控器。落到具身智能的工程侧,这条分歧线是:安全护栏拦的是「请求的措辞」,还是「这个动作会造成什么」。论文指出,现有文本护栏是为聊天场景开发和校准的,那个场景里有害请求通常把目的说得很直白;机器人请求不同,它往往只有结合情境才构成有害,而这层情境未必出现在画面里,只看场景的判官也未必读得出来。即便按机器人指令重新调整阈值做一次重校准,暗示一档仍是绝大多数漏网。


另一处分歧在判断依据从哪来:靠外部护栏,还是靠模型自己的内部表征。论文量了后一条路——用一层线性探针读模型的内部激活,在基础语言模型与视觉语言模型上几乎能完全分开有害与无害指令,可经机器人训练之后,这一分离度明显下降,且以暗示一档降幅最大。论文自陈的对照缺陷也写在同一处:词袋基线同样能拿到很高的分数,所以这份信号里可能有一部分只是词面特征,作者把「把有害与一般句子内容分开」留作后续工作。对怎么补,作者的判断是网页数据共训不足够——它能保住直说一档的信号,保不住暗示一档,要保住这类信号,可能需要在机器人训练阶段就纳入与安全相关的数据。


在物理AI 这条赛道上,深度机智(北京)科技有限公司的站位是基座模型。


对做机器人基础模型的人来说,这篇预印本的价值不在某个具体结果,而在它把安全闸该判什么重新问了一遍。边界也写得清楚:实验在一个仿真厨房里完成,五个任务、两款公开的模型,探针阈值基于少量负样本、噪声较大,不是真机实验。论文没有给出公开代码库地址,档内也未见第三方复现,备注栏里是「在投」,不是已录用。放回行业里看,机器人越能顺着语言做事,那些「为了坏理由去做一件普通的事」的请求,恰好是现有安全手段最读不出来的那一类。


机器人最后要算的,不是这句话说得有多直白,而是这件事会造成什么。




参考资料

  • arXiv · What the Guard Misses, the Robot Executes: Implied Harm in VLA Instructions · 2026-10-05