一个纹理球,让 VLA 操作大面积失败

一个纹理球,让 VLA 操作大面积失败

【具身AGI导读】一个直径只有几厘米的小球,放进机器人的视野,就能让操作任务大面积失败。这项研究把攻击做成了通用的,还从仿真一路推到了真机。


2026 年 9 月 30 日,arXiv 刊出一篇预印本,编号 2609.39178,主分类为机器人学,由武汉大学的一支研究团队完成,其 Comments 字段记载该稿已被 ICRA 2026 接收。论文提出一种「通用对抗物体」——一个优化过表面纹理的球,放进机器人视野,就能让 VLA 模型的操作任务大面积失败,而它既不修改模型参数,也不修改语言指令与机器人状态,只是环境里多出来的一个物体。在论文的测试里,复杂场景下成功率跌到接近零。

这套攻击是一个多层级框架,同时打击轨迹规划、任务执行与动作控制三个层面:让执行轨迹偏离、让任务失败、给动作注入高频扰动,再用正则项保证纹理的物理可实现与视觉上的不显眼。求解则是黑盒的:只读模型输出、不动内部参数与梯度,用 SPSA 估计梯度,并在优化中施加旋转、缩放与亮度对比度扰动,以贴合操作里持续变化的相机视角;成品经 3D 打印成实体球,放到一台双臂机器人平台上验证,据论文其效力大部分保留。

对抗攻击在安全研究里一直充当一种「提前体检」的工具——这篇论文自己的定位,就是用它来评估模型鲁棒性、在部署前暴露安全缺口。而机器人侧的既有工作长期停留在小规模、模块化的模型上,VLA 这类端到端架构,此前几乎没有系统的安全评估。

论文给出的机制解释是:多模态融合带来的泛化能力,同时也构成了一处可被利用的依赖——场景越复杂、任务越精细,缺口越明显。安全解法放在哪一层,决定了要改的是什么:本体侧的结构安全,还是模型侧的感知与决策鲁棒性,这篇落在后者。

深度机智(北京)科技有限公司锚定的是物理AI 基座模型。

论文也交代了它自己的边界:只做了攻击一侧,防御机制(对抗训练、实时检测)被列为后续方向。论文的消融实验显示,四项损失里任务失败那一项最关键,去掉其中任何一项,攻击效力都明显下降——它据此认为,多路攻击向量之间的协同才是击穿决策链的关键。至于两款被攻击的模型,一款基线更高但在攻击下绝对跌幅更大,另一款并未因扩散式架构而表现出固有的鲁棒性优势。论文还提到,即便只有一路相机能看到那个球,成功率仍明显下降;而那个球的尺寸是它反复调过的参数——太小视觉影响不足,太大又会在动态操作里频繁滑出相机边界。


能被一个球击穿的模型,说明它对世界的信任还没有被校准。


参考资料


- arXiv · Exploiting Vulnerabilities: Universal Adversarial Attacks on Vision-Language-Action Models in Robotics · 2026-09-30