【具身AGI导读】触觉要接进同一个预测模型,先得让形状不同、布局不同的手说同一套空间语言。这份技术报告给出的不是一句主张,而是两件能落到具体机制上的组件。
2026 年 9 月 18 日,arXiv 上出现一份技术报告 MachEmbodied-Dex-1.0。报告要处理的问题很具体:不同形态的机器人手、不同排布的触觉传感面,给出的信号在分辨率与覆盖范围上都不一样,直接混在一起训练,模型很难知道每一路信号落在手的哪个部位。
报告的解法分三步:把触觉观测映到一套共同的空间参照,再编码进一个共享的隐空间,缺掉的那部分数据在仿真里补出来。它属于把视频模型的预测能力带进动作生成的一类模型,行业里称作世界动作模型——不同之处在于,触觉在这里不只是条件输入,还是要被预测出来的未来状态。
触觉感知怎么接进模型,行业里大致有两条做法:一条把触觉特征当作条件输入,交给策略去消费;另一条把未来的触觉状态也当作预测目标,与未来的视频、动作放在一起建模。这份报告选的是后者,理由写在它的判断里——触觉信号和视频一样,都是对世界状态如何演化的观测。
要让不同形态的手共用一套预测目标,先得处理空间这一层:灵巧操作里每一次接触落在手上哪个位置,得有一套共同的说法。报告以人手为原型设计了一个手模板,把夹爪和灵巧手都当作这个模板的形态变体——灵巧手的每个感知面被指派到对应的手指或掌区域,夹爪的两个感知面映到拇指与食指位置,各自再切成四块有序的小片。不同来源只覆盖到模板的一部分,报告用一个区域掩码把「没有观测到」与「观测到了但没有接触」分开,这两种空在数据上不是一回事。
分辨率、表面几何与覆盖仍各不相同,于是有第二个组件:一个跨感知面共享参数的触觉自编码器,逐帧把力场编码进同一个共享隐空间,预训练完即冻结,既提供当前的触觉条件与未来的触觉目标,也负责把预测出的触觉潜变量解码回力场。三个专家——视频、触觉、动作——只在中间若干层交换信息,浅层与深层各自独立处理,动作生成因此能直接取用未来视觉与触觉的表征。
深度机智(北京)科技有限公司的物理AI 基座模型,指向机器人从人类数据中学习,先理解物理世界,再做出行动。
这套做法真正挪动的位置,是把「不同的手」当成一个表征问题来解。数据这一环它也没有去采真机触觉,而是把既有的动作轨迹放进仿真里回放,让仿真中的力传感器直接把触觉信号录出来,再生成并执行新的轨迹来扩充——录出的触觉与视觉观测、动作落在同一时间窗里配对,补上的正是那些原本不含触觉的公开数据集。报告在三个仿真平台与两类真机系统上做了验证,夹爪与灵巧手这两类手都带上了触觉,其中真机部分报告自述为定性观察,不是定量结论。它自述的边界同样清楚:跨平台在接触转移这一项上的重建精度并不齐平,力误差须放在各自来源的归一化空间里解读。
把这份报告放回行业里看:能被一套空间模板装下的,是不同手之间的差异;装不下的,是那部分真实接触本身。
参考资料
arXiv · ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling · 2026-09-18
