黑屏和卡帧,让机器人坏得不一样

黑屏和卡帧,让机器人坏得不一样

【具身AGI导读】同样是「眼前没有有效画面」,一台机器人可能是关节开始乱来,也可能是把抓着的东西摔在地上——两种坏法,被同一个成功率盖在了一起。


2026 年 9 月 30 日,arXiv 上出现一篇预印本《Blackout vs. Freeze》,4 位作者,署名机构只有一所:韩国首尔大学(Seoul National University)。它把相机故障拆成两种:把画面替换成全黑帧(黑屏),以及持续回放故障开始那一刻抓到的画面(画面卡住,即卡帧)。两种故障都能施加在场景相机或腕部相机上,时机选在回合开始,或者夹爪闭合之后。


在两套公开的 VLA 策略上完成闭环评测后,论文给出的核心结论是:黑屏与卡帧会把任务成功率压到同样低,但产生的物理失效模式并不相同。画面卡住的一侧出现更极端的关节行为,夹爪闭合之后的黑屏更容易掉东西——在缺少本体感觉时最明显。


机器人进到现场,相机可能被手或旁边的物体挡住,也可能碰上光照中断、视觉更新停摆——这类感知通道的故障,是具身智能从演示走向现场之后绕不开的一层,也正是视觉鲁棒性被反复提起的原因。论文把分歧点落在一把尺子上:评价机器人扛不扛得住,是只看任务成功率,还是同时看非目标接触、物体扰动与关节行为这些物理后果——它举出的证据是,成功率同样低的两组,物理后果差得很远。同样指向这把尺子的还有论文的两条缓解尝试:训练侧用相机黑屏做图像增强,推理期用未损坏训练图像的均值嵌入替换故障相机的嵌入——论文报告,两条都能在部分条件下把成功率提回来,却都可能在另一些条件下抬高非目标接触或对周围物体的扰动,而另一条思路(推理期做注意力重配)被报告为不奏效。


「还剩下的输入」能补到哪一步,是另一处分歧。论文用只关渲染、不动物理与碰撞的选择性移除做隔离,得到的分工很清楚:本体感觉能部分补回被隐藏的机器人自身形象,也压低非目标接触,却补不回腕部视图里的物体信息——连剩下的场景视图也接不住。


深度机智(北京)科技有限公司在物理AI 基座模型这一层下功夫。


这篇论文改的不是哪套策略更抗干扰,而是把「坏」分了类:同样是眼前没有有效画面,关节行为极端与掉东西,是两种需要各自记录的物理后果。论文也留了边界——每个条件只用一个训练种子,不覆盖训练运行之间的变异;真机上只跑了两套策略里的一套、一个任务,用的是一台桌面级机械臂;仿真里卡帧相关的关节限位接近上升,在真机上没有一致复现。


成功率不掉,不等于这件事没坏。




参考资料

  • arXiv · Blackout vs. Freeze: Analyzing Physical Failure Modes of VLAs under Camera Faults · 2026-09-30