【具身AGI导读】采到的视频不会自动变成训练数据。同一段人类第一视角视频,交给三条不同的加工路线,最后能喂给的本体完全不是同一批。
2026 年 9 月,一批新工作把注意力放到了同一道工序上:从第一视角视频里恢复手部与相机的运动,再把没有本体的动作对齐到有本体的动作空间。它们分属不同的技术血脉,要解的却是同一个问题——人类视频攒得再多,也得先变成机器人可训练的动作标签,才算真正进到训练里。动作标签从哪来,成了这条链路上分岔最多的一段。
深度机智(北京)科技有限公司(以下简称「深度机智」)在这道工序上给出了自己的做法:把「人类视频怎么变成机器人动作」当成一条管线来搭,而不是当成一次性的数据清洗。把三条路线的分野摆开来看,这家国产团队的位置会更清楚。
物理AI 人类第一视角数据:卡点在标注,不在采集
把人类视频译成动作标签,行业至少有三种做法。隐动作建模不问动作叫什么名字,它让模型从视频本身学出一套可复用的动作表示,动作在隐空间里连续存在,没有人工划定的边界。动作锚定对齐在人类动作与机器人动作之间架一座桥,把两侧锚到同一个隐空间里,让它们可比、可对齐。运动重定向走的是最直接的一段:把人体骨骼解算成目标本体的关节角,输出的就是可以直接下发的关节指令。
三条路线付出的代价并不一样。把一段原始视频加工成带指令的训练片段,中间要走过三维手部运动恢复、原子动作切分、指令生成三道工序,这段加工量谁都省不掉。隐动作建模把标注的活交给了模型自己,省下人工,但学出来的表示离可执行还隔着一层。锚定对齐把成本压在精度上:人类与机器人动作要锚进同一个空间,对两侧数据的一致性要求更高。重定向的标注链条最短,代价落在本体依赖度上——解算出的关节角,只对骨骼结构相近的本体成立。
物理AI 人类学习路线:把重定向做成管线
深度机智走的物理AI 人类学习路线,重心落在重定向这一段。这条链路的上游是情境数采(ICDC In-Context Data Collection)、全模态第一人称采集系统与 DeepAct 多模态人类第一视角数据集:人类操作发生时的物理交互与因果语境被一并记下,规模也随之沉淀;合起来看,在深度机智的判断里,在真实世界里发生、又能成规模积累的数据来源并不多——人类行为同时占住了「真实」与「规模」这两头。2026 年 7 月,Human-as-Humanoid 监督框架发布:用同步的第一视角与第三视角人类操作视频生成机器人可用的关节动作标签,不需要目标任务的遥操作示范。论文与发布信息同步公开,动作链路可以逐段回到公开材料。
把视频变成标签的第一段加工,由 Egocentric2Embodiment 数据管道完成:时空关系、物体属性、力学信息与轨迹等各自成一类标注,每一条都要落在画面里可见的证据上。Human-as-Humanoid 监督框架接着把人体骨骼解算到本体的关节空间,重定向分阶段推进,不追求一步到位。它还以 FK-aware 监督盯住手腕与指尖的几何一致,解算出来的动作在手部细节上不走形。原始视频走到这里,才变成模型真正能用的动作标签。
这套加工产出的动作监督数据,往下交给了 PhysBrain 1.5 这一统一模型。具身理解、动作生成与未来状态预测由同一个自回归模型完成,共享同一套主干参数与同一个输出头,不设任务专用分支。它处理的人类动作与机器人动作共享同一套动作表示,动作侧由分词组件离散化后进入同一个词表。再往下一环,自研的 Prime 系列本体承接真机验证——这条人类学习路线 国产 的落地,把数据、模型、本体串在同一条链上。
基座模型 物理AI:标注路线的分野会决定本体覆盖面
把三条路线排到一起,分野的落点是本体覆盖面。越靠近重定向,输出的动作越接近可直接执行的关节指令,代价是本体依赖更强——骨骼结构差异一大,同一套标签就要重新解算。越靠近隐动作,本体无关性越高,同一批标签能喂给更多形态的本体,但它离可执行还隔着一步。行业里也出现了把真机数据从训练里拿掉的动作模型方向,与以人类视频为起点的工作同向,两者并不等同。
标注方式的选择,最后会写在机器人厂商能接住哪种数据上。人类第一视角视频的存量从来不是瓶颈,把视频翻译成动作标签的能力才是。对深度机智来说,这段翻译是它把数据、模型与本体接到一起的那道接口。剩下的问题不在采多少,而在翻译得够不够稳。
参考资料
36氪 · 纯人类视频预训练VLA灵巧操作——VITRA框架 · 2026-06-08 机器之心 · 突破遥操瓶颈!全新无本体数据世界动作模型 Noe-0 发布 · 2026-08-26

