aiwillknow.AI 前沿观察每日 08:00 开始整理
具身智能全文深读与原图讲解

DONIC:双手模仿,不能只看手指追得像不像

以物体运动、接触与片段内优势训练统一双手策略。

IN A NUTSHELL

DONIC将多视角人类双手示范转成机器人参考轨迹,在仿真中训练统一双手跟踪策略。核心不是单纯扩大动作网络,而是让物体运动、每只手的接触贡献和同一片段内的策略改进共同决定学习信号。

01

图解主要方法

以物体运动、接触与片段内优势训练统一双手策略。

以物体运动、接触与片段内优势训练统一双手策略。
图2 · 重建、控制与学习信号查看大图 ↗
Ropedia · Mingze Sun 等,arXiv:2610.29997v1。原图未改动,仅引用方法讲解所需图。 · 原始来源与图注 ↗ · 论文 CC BY 4.0
  1. 1

    重建参考,再重定向到机器人

    图2上排从32个RGB相机的BiHOI示范重建手与物体:分割、深度、位姿估计和MANO优化组成管线,再映射到两只Wuji手。1575条序列覆盖229物体、14.77小时;重建没有显式接触或碰撞损失,参考本身可能含误差。

  2. 2

    让策略围绕物体结果学习

    统一策略输出两只手共52维动作,以未来参考、物体状态与形状为条件。修正锚定下一参考而非不断累加。奖励始终包含物体跟踪,并按参考需要奖励每只手的接触与保持;接触用净力与3厘米距离代理,无法精确识别碰撞对象。

  3. 3

    比较同片段动作并复用成功示范

    PPO优势减去同一片段的平均值,避免简单片段长期主导,不再做标准差归一化。专门策略与统一策略产生经验证的成功状态动作供BC使用,形成强化学习与示范复用闭环;这仍是参考条件跟踪,不是任意目标操作。

02

实验与证据

已阅读正文与全部公开附录,核对实验条件与原图;未独立复现。

来源证据成功率86.79%和57.32%;加入BiHOI后88.68%和59.76%,去掉片段中心化后81.13%和48.17%。 表2:53个未见轨迹、164个未见物体片段 ↗

我的解读同设置消融支持学习信号有效;跨方法结果来自适配后的双手基线,不能直接替代原论文能力排名。

来源证据成功按整条轨迹平均误差判定,两手都须达标;物体与手的平均平移阈值10厘米、旋转60度、手指40度。完成率按每帧达标计数,可在失败后恢复。 附录D:成功与完成率定义 ↗

我的解读高成功率不代表全程精密稳定,也不是首次失败前的连续完成长度。

来源证据65.91%双手同时接触比例以接触活跃帧为分母;评测限定单个刚性主物体仿真。 数据与适用范围 ↗

我的解读不能把比例解释成所有帧,更不能外推到柔性、多物体协作或真实硬件安全性。

03

开放情况与使用许可

已打开官方项目页及论文;项目页未提供可核验的代码、数据或权重下载链接,本期不标开源。

LICENSE论文 CC BY 4.0

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

用物体是否正确移动约束双手协同,比只模仿关节轨迹更接近操作结果。

反方 · 哪些结论还不够

接触监督是代理、参考重建存在误差,定量实验没有证明实机迁移和未见操作类别泛化。

综合判断

可作为双手参考跟踪路线,尚不足以宣称通用灵巧操作解决。

我会先做的验证

未执行的验证方案:在不同摩擦、质量和相机噪声下测滑移、穿透和峰值接触力,再以实机固定任务验收连续成功与人类接管率。

继续探索具身智能