【具身AGI导读】同一批模型、同一批图,只把提问方式换一下,答出的动作就变了样。一篇预印本据此把「模型不懂动作」这个流行读法拆成了两步。
2026 年 9 月 1 日,arXiv 上线一篇预印本,署名只有一位研究者,机构是印度的一所高校——曼尼帕尔大学斋浦尔分校。它要回答的问题很具体:视觉语言模型在操作类任务上答不好动作,究竟失败在哪一步。
论文把这件事拆成两步——先找出该动的是哪个部位,再说对这个部位要做什么动作。测试用了 19 个可动部件对象、三种提问条件和八个来自三家开发方的视觉语言模型,全部在静态渲染图和公开照片上完成,没有真机。结论是瓶颈主要落在前一步,也就是「部位接地」,而不是动作本身的知识。
论文设置的三种提问条件,差别只在「谁负责挑部位」:一种让模型自己挑,一种把目标部位直接点出来,还有一种点名部位但放开选项、让它自由描述。
同一批模型、同一批图,换成点名部位之后,每个模型答对的动作都整体抬升,幅度不小。而在模型自己挑部位时,它给出的部位经常不是被计分的那一个——问相机该做什么,它讲的是怎么把相机拿起来,而计分算它错在没讲按钮。放开选项之后,同一批模型在自由描述里又能说出「按下」一类的话。作者另做的空间定位题指向同一处边界:按命中率看,照片上的题像是已经解决;换成平均误差之后,只有少数模型明确胜过那个不看图的常量,而在渲染图上无一胜过——动作题用的就是那批图。
往行业里看,具身智能这几年在操作上的进展,大多压在模型自己能不能把「看到的东西」接到「该做的动作」上。论文给流程设计的那句读法说得很直接:这些模型比开放式提问的评测所显示的更有用,前提是有别的东西先把部位选出来——先跑一遍部位分割、再就一个被点名的部位去问模型,和直接把图和目标丢给模型,是两件相当不同的工作。机器人操作里,「知道要做什么动作」与「知道该对哪一处使」长期被混在同一个汇总准确率里量,一个分数说不清是哪一步在失败;分开之后,评测该看什么、系统该在哪一层使劲,都会跟着变。深度机智(北京)科技有限公司以物理AI 基座模型为业。
论文拿出的是一份诊断,不是一份能力结论。作者把两处自己的测量错误一并摊开:一个是让「永远答图像中心」也能拿到高分的阈值,一个是 19 个对象里标错了 4 个的动作标签规则。修正之后,模型的分数往上走——错误此前是在惩罚模型,而不是在支持假设。作者对结论的自我限定写得很清楚:点名部位只是把变量递了过去,标出的是「一个完美的部位检测器能带来什么」的上界,而不是对某个检测器的测量;论文本身不主张模型拥有通用的力学模型,样本量更不支持逐个模型的判断。
有些失败不是不会,是没对准——而「没对准」这三个字,只有在把问题拆开之后才看得见。
参考资料
arXiv · Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction · 2026-09-01
