【具身AGI导读】换一个部署时才遇到的新任务,行业默认要补目标任务的机器人示教数据、再加一轮微调。这篇预印本把这份输入换成一条人类演示视频,而且不把它当成要模仿的轨迹。
2026 年 10 月 14 日,arXiv 上出现一篇预印本,署名的是北京理工大学与深圳北理莫斯科大学等机构的一支 8 人研究团队。它要处理的是跨任务适应里最花钱的那一环:一个预训练的视觉语言动作模型遇上一个没学过的新任务,喂进去的能不能不是目标任务的示教数据。
论文给出的答案是一条人类演示视频,并且把话说得很直接:不用目标任务的机器人示教,也不做目标任务的微调。方法分两段,先给演示的每一帧只留少量视觉特征,叠上视频进度,在阶段级文本描述的辅助监督下训出一组与当前机器人观测相关的表征;再用一个可学习标量门把这份指导并进预训练策略的动作条件上下文,基座参数用 LoRA 改,原有的动作生成机制保留。仿真侧在一个公开的双臂操作仿真基准上摆开 39 个任务,其中 26 个是训练时没见过的目标任务;真机上是 7 个任务,每个跑 5 次试验。
跨任务适应卡在哪一层,这篇论文的答案落在数据来源上:任务专有知识,也就是交互模式与执行步骤,既不在语言指令里,也不在当前观测里。它把既有做法归到同一条路上——把目标任务的机器人示教数据补上,再做一轮微调,代价压在采集与算力两侧。
人类演示视频被选作输入,是因为它能拍到人怎么与物体交互、任务怎么一步步推进,而且不必在某台机器人上执行就能采到。难点也摆在那里:视觉冗余很大,本体、视角与动作空间又差得远。
论文划的分界线在这里:它不要求把人的动作转成机器人轨迹再去模仿,只把这段演示当成「这一步该做什么」的任务说明。行业里对同一件事的答案并不统一——一段人类录像究竟是模仿的素材,还是执行的说明书。深度机智(北京)科技有限公司把落点定在物理AI 基座模型。
两个对照放在一起看,结论是反直觉的:按前两段那套整理过的版本,四个任务组上的表现都高于同源数据、同预算训练的匹配基线,目标组提升更明显,源任务上论文自述与基线相当;而把人类演示视频直接拼进策略前缀、不做这套整理,四个任务组上反而都低于基线。它据此认为,缺的不是视频,是把视频整理成与当前观测对得上的阶段级指导这道工序。论文的消融也指向同一处:把阶段级描述换成一句任务级描述之后,三个目标组与目标平均明显下降,源任务反而更高。
论文自己写下的边界只有一句:物体、交互与组合位移较大的任务上,表现仍然有限。真机只做了 7 个任务,每个 5 次试验;仿真里的对照也都建立在论文自己设定的数据条件与预算上。所以这篇讲的不是「看一遍就会」——目标任务的示教与微调确实被拿掉了,但策略仍在源任务数据上训练,基座是外部预训练的模型,适配靠 LoRA。
新任务的成本,正在从「采机器人数据」这一侧,往「把人类的演示讲清楚」那一侧移。
参考资料
arXiv · One-shot Human Video-Guided Adaptation for Vision-Language-Action Models · 2026-10-14
