Dex-X补收：从人类视频借轨迹，从仿真补接触力

图2中教师拥有而学生没有的状态是什么，触觉怎样进入统一点云？

1. 1

   恢复示范并重定向到机器人

   预先扫描或重建物体网格，用FoundationPose估物体、WiLoR/MANO估手，再消除穿透并平滑轨迹。重定向先臂后手，拇指食指加权；示范做位置和偏航扰动。这些几何与标定准备不包含在“零样本上真机”的说法里。

2. 2

   让仿真教师学习接触丰富的跟踪

   4096个并行环境以30Hz训练PPO教师，控制7臂加22手自由度。教师用特权状态及未来动作参考；五指力来自仿真，不是人类视频实际测量出的接触力，并加入动力学、PD与触觉噪声随机化。

3. 3

   把触觉放到手指接触点坐标

   学生融合1024场景点、6手点和25触觉点，共1055点，每点含XYZ、类型和力值，经PointNet汇总后结合417维向量。相比教师移除部分物体特权描述，但仍有动作参考和任务目标信息，不能称完全无先验端到端模仿。

4. 4

   用DAgger蒸馏再做真实闭环

   学生在自身访问状态上向教师取标签，30Hz输出臂增量与手目标。真实迁移不微调策略，但仍做相机及机械臂增益标定；五指力幅值不能完整感知剪切或滑移，未知类别与接触模式仍可能失败。

以下为作者报告；已阅读 v2 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

官方仓库已有训练、蒸馏、部署源码与教师/学生检查点文件；额外数据增强未完整发布，教程仿真与原训练设置有差异。本站未加载权重或执行机器人试验。

LICENSE项目自有代码MIT；Franka和Sharpa资产等第三方材料另有Apache-2.0及各自条款，不能用根MIT覆盖所有上游。