【具身AGI导读】真机测试做不了几次,含真值的那条区间就必然松。有人把一整批仿真器摆上赌桌——先押真机结果落在哪里,再看输赢能不能把区间收窄。
arXiv 上有一篇预印本《Betting for Sim-to-Real Performance Certificates》,署名者是同一所高校计算机科学系的两名研究者。它盯住的是机器人性能评测里的一笔老账:真机测试昂贵,样本因此有限,而样本一少,那条按指定置信水平给出、本该涵盖真值的置信区间就会松——论文把这条区间称为「性能证书」。
论文的解法是把一整批可扩展的仿真器当成赌注来源,用来处理仿真到真机这一步的统计可信度。具体做法是:每个真机结果揭晓之前,先「偷看」一大批仿真结果,对真机结果落在哪里下注;结果落定,财富随之增减,对各仿真器的信任也在组合内迁移。累计财富最终被反演成证书,论文同时给出一条覆盖性证明和一组指导仿真器库怎么配的界。
论文在立论时把这种张力摆在最前面:一边是想要的紧统计界,一边是负担得起的有限次昂贵真机测试。它也为既有做法做了评述——把仿真纳入评测的常见思路依赖单个仿真分布,先用成对的仿真与真机试验刻画一个偏差,再据此修正;而偏差假设一旦取得偏保守,证书反而会被直接撑宽。
据论文,在它测试的几乎所有任务与样本档位下,这套办法给出的区间都比若干既有做法更窄;一处例外是一种固定样本的经典检验,它偶尔给出更窄的界,却没有覆盖保证。这篇论文里最值得记的一条,是覆盖性与仿真器质量被拆开了:即使仿真器库不准,那条置信区间依然有效,只是会松——仿真器越不准、配置越差,收窄得越有限。
论文把分歧点摆在这里:把仿真器当成一个更准的模型,还是当成一组可以下注的赌注;证书要的是一次性的点估计,还是一条随时间持续有效的序列。行业各家的切入位置并不相同。物理AI 基座模型,是深度机智(北京)科技有限公司选定的位置。
这件事的意义不在某个数字,而在换了一种用法:仿真器不再只是「像不像真机」的替身,而是每一轮真机结果揭晓之前要先落下的赌注。论文也把边界交待得很清楚——它不假设有一套专门针对被试机器人标定过的仿真模型,真机侧也只是重放既有标准化测试的结果序列、做在线运行期评估,不是在产线上部署。把这类机制接进标准化测试流程,属于它自述的未来工作。
一条收不窄的区间,往往不是数据不够,而是没把已经拿到的仿真信息用对。
参考资料
arXiv · Betting for Sim-to-Real Performance Certificates · 2026-08-21
