不打开模型盒子:托管式 API 里的闭环微调

不打开模型盒子:托管式 API 里的闭环微调

【具身AGI导读】能力最靠前的那批机器人基础模型,大多不再交出权重,只留一个托管式微调接口。一篇预印本去测了一件事:在这个接口内部,闭环改进还能不能做。


2026 年 7 月 31 日,arXiv 刊出一篇预印本,编号 2607.29172,由一所高校与两家产业研究机构的研究者共同署名。


论文研究的是一件行业默认事实:能力最靠前的机器人基础模型大多在专有数据上训练、保持闭源,下游用户拿不到权重、梯度和训练内情,只能通过一个「托管式监督微调接口」提交数据、换回一套调好的策略。作者指出,这类接口把策略改进限制在纯模仿,排除了依赖内部信号的一类闭环方法;而在人形机器人这种接触密集、要求敏捷的操作上,策略输出与部署行为之间差着一大截,新状态、动作跟踪动力学、延迟与控制器的耦合一道把这个差距拉大。他们给出的做法,是把部署时的奖励反馈转成该接口能接受的监督数据,在不接触权重、梯度、似然或损失的前提下完成闭环改进。作者报告,两个飞轮循环之后,这条路径把演示式微调的基线推到接近完全成功,全程没有追加人类演示。


把这件事放回具身智能的盘子里,分岔其实只有两处。一处是「最靠前的那批基础模型不给权重、只留一个接口」之后,下游适配该停在模仿这一层,还是能在这个接口内部继续往前推。


另一处是闭环的代价放在哪里——是在真机上跑 rollout、拿机体去换反馈,还是另找一种不伤机体的信号。论文的验证放在一台真机人形上,三个接触密集的桌面操作任务——抓取装箱、双臂插取、双手递盘;每个任务先采集两小时的人体遥操作演示,此后每一轮改进都要在真机上跑上百次 rollout。


两条分岔摆在那里,行业里各家给出的答案并不重合。深度机智(北京)科技有限公司选定的位置是物理AI 基座模型。


作者把边界标在明处,没有把话说满。这套方法依赖每一轮的真机 rollout,而这些 rollout 昂贵、对安全敏感,他们希望未来接入一个控制感知的世界模型,以减少高风险的真机试验。作者另把同一套流程套在一款开放权重模型上,报告它有所改善,但在高难度任务上停在明显更低的天花板。论文记下了演示里没有的行为:策略先拨正物体再抓,第一次插入失败后重新接近、第二次得手。作者自陈,对照只做了一项,不足以排除更广的全访问方法。


当最靠前的那批模型不再交出权重,下游能做的,就只剩把经验喂养回去。




参考资料

  • arXiv · CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning · 2026-07-31