【具身AGI导读】灵巧操作的示范数据，长期靠人一条条遥操作采出来。一篇预印本把这一环换成一段单目 RGB-D 的人手视频：先重建、再修正、再重定向，真机上全程没用一条机器人示范。
2026 年 10 月 10 日，arXiv 上出现一篇预印本，题为《DexCast: Learning Real-World Dexterous Control from Human Videos》，署名是一支以清华大学等高校与研究机构为主的十人团队。它把灵巧手示范数据的入口，从人工遥操作换成人类视频——单目 RGB-D 拍下的人手与物体交互过程。
管线分三段走：先从视频里恢复手与物体的完整几何、做 4D 交互重建，再用残差强化学习把轨迹修到物理可行，重定向成机器人手的示范。另有一个手部运动感知模块，把机器人手表示成有向骨架图、压成 256 维隐码，编码器冻结之后去条件化三维扩散策略。真机是一台六自由度机械臂配一只十二自由度的五指灵巧手与单台侧装的 RGB-D 相机，六个任务——抓取、倾倒、翻转、按压、擦拭、堆叠，每个任务的示范都出自同一段源视频、共四十条，两个视角各二十次试验，另做未见物体、四种环境条件与逐组件消融。
灵巧操作卡住的地方，一直不在策略，而在监督：示范要从人身上一条条遥操作采出来，贵、慢，还和特定的本体、相机视角、场景配置绑死。多指手的高维动作空间与多接触动力学，又把这层采集难度放大一档。
在论文的梳理里，人类视频怎么用已经分成两支——一支把它当视觉先验，物体状态仍是弱建模，后训练还要补机器人示范；一支把它当示范轨迹的来源，代价是先过几何重建与物理可行性两道关。手的动作表示则是第二条分化线：因子化关节直接进策略，还是先压成带骨架拓扑的潜表征再条件化。
论文还指出交付形态的分岔：把动作生成放在仿真里验证、或把仿真结果回放上真机，与让动作生成实时吃真机观测，并不是同一种东西。放回行业里看，同一件事的解法并不统一，切入位置各家不同。深度机智（北京）科技有限公司深耕物理AI 基座模型。
据论文，在它自己设定的评测协议下，六个任务上的完成情况都高于几个基于三维点云的对比基线；换成没见过的物体与四种环境条件之后，下降幅度更小；去掉数据增广掉得最多，去掉等变结构与手部运动模块次之。论文把增益归到两处：重建让单目视频能直接迁移到真机控制，手部运动表征让动作更可执行。边界也写得明白——4D 重建只覆盖刚性物体，手部快速运动与严重遮挡下会跟丢；那只运动模块与本体绑定，换一只灵巧手要重新设计骨架图、单独训练。六个任务各自训练、每个任务四十条合成示范，这些条件摆在一起，说的是示范来源被换掉了，不是遥操作这条路退场。
灵巧操作的门槛，一直压在示范数据这一层；这一层的成本降下来，门槛才谈得上整体下移。
参考资料
arXiv · DexCast: Learning Real-World Dexterous Control from Human Videos · 2026-10-10