具身智能全文深读与原图讲解

AdaDex：跟着人手学，再离开示范轨迹

把精细模仿与大范围目标探索混合训练，是否能得到可迁移的灵巧操作？

AdaDex · Yuxuan Kuang 等预印本首发 · 近7日补收 2026.10.20

论文公开 · 实现开放待核

IN A NUTSHELL

AdaDex 从短人手操作片段构造物体与手的参考运动，交替训练紧跟示范和偏离示范的两类环境。它在单个物体的未见运动上提升明显，并展示跨模拟器及真实机械手迁移。这里的“短片学习”仍包含每策略数天仿真训练，不是拍几秒就得到通用灵巧手。

图解主要方法

把精细模仿与大范围目标探索混合训练，是否能得到可迁移的灵巧操作？

1
1 · 从视频恢复可模拟参考
先恢复物体网格、物体位姿及人手运动；RGB-D管线组合SAM3D、FoundationPose++与手部重建，再对齐桌面和尺度。该步骤需要物体几何、相机及参考姿态质量，并非只输入一段任意RGB即可无条件完成。
2
2 · TrackEnv学习接触细节
图2蓝色环境从参考附近初始化，密集监督物体轨迹、腕部、手指和接触；参考状态采样让策略学会沿示范继续。观测包含本体、物体姿态和BPS几何，目标是腕部与物体位姿，输出6维腕部增量及22维手指控制。
3
3 · GenEnv扩展目标分布
图2绿色环境引入更大的SE(3)扰动，以稀疏物体到达奖励为主，但仍有密集腕部引导，不应称全程纯稀疏奖励。两环境共享actor，非对称critic在训练时可见额外接触和参考信息。
4
4 · 分阶段混合并转移
先纯TrackEnv，再各半TrackEnv/GenEnv；每阶段8192并行环境、单4090约1–2天。得到的是按物体、参考运动训练的策略；真实端以30Hz执行，闭环例子还依赖视觉物体位姿反馈。

已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。

来源证据12个物体，每物体1个训练动作、2个未见动作，每项128次rollout；未见动作平均tracking progress为80.02%，去掉GenEnv为31.75%。已见动作96.74%对97.47%。 GRAB与消融表 ↗

我的解读说明目标探索改善轨迹外泛化，代价是示范内略降；progress是完成比例，不是整条任务成功率。

来源证据连续10个程序化目标，AdaDex进度51.80%、完整成功27.08%；SimTool进度44.6%、完整成功31.71%。连续随机目标评估 ↗

我的解读进度领先不等于完整成功领先，且对照机械手与接口存在差异，不能称所有指标最佳。

来源证据135条DexYCB序列按首帧可见性筛选，重建MPJPE25.03mm，对照42.11mm；约0.97秒/帧。硬件展示xArm6与XHand的开环、闭环操作。重建与硬件证据 ↗

我的解读视频重建速度不是在线控制频率；真实示例没有足够重复试验成功率，不能从演示推断部署可靠性。

已阅读官方项目页及论文，展示了方法和硬件视频；截至核验未在项目页找到本工作可下载训练代码、策略权重及其许可，暂标论文公开，不把示例视频或页面模板当开源。

LICENSE作者版权；arXiv非独占托管许可

独立分析 · 未复现实验

让一条高质量参考提供接触先验、再用扰动目标扩展控制范围，是比机械照抄轨迹更有用的少示范路线。

策略按物体和参考训练，训练成本不低；重建依赖刚体与可见性，真实闭环位姿误差可能放大。论文主要量化仿真，硬件转移以定性展示为主。

适合已有物体模型和仿真环境的技能开发，尚非跨物体通用零样本操作系统。

未执行的验证方案：固定物体和总训练步数，对比纯模仿与混合训练；在真实系统加入遮挡、位姿偏差、摩擦变化，各跑50次，分别统计目标进度、完整成功、掉落及人工接管。