具身智能全文深读与原图讲解

GNR：从已解出的机器人轨迹学习，减少每次重定向的搜索

条件流匹配预测IK残差；长时精细任务仍需要MPC闭环修正

Dechen Gao、Yue Yang 等 · Meta Reality Labs及合作高校预印本首发 · 当日补收 2026.10.08

论文公开；实现开放范围待核

IN A NUTSHELL

GNR学习MPC成功轨迹相对IK参考的残差分布，把单次轨迹优化变成带人类动作与物体条件的多次生成。候选需在仿真中通过接触、穿透和物体跟踪检查；困难任务可用生成结果初始化MPC。

图解主要方法

图2的数据发现、规模扩展和生成模型各在什么时候使用物理验证？

1
先得到可行种子而非仅做IK
图2(a)从动作捕捉或第一视角视频获取手、物体和网格，修补网格以建立SDF；经IK后对初始抓握重新建立接触，再用DIAL-MPC求可行控制，回放记录仿真接触力。
2
流匹配学习控制残差分布
生成目标是MPC控制减IK控制，而非绝对动作。时间U-Net通过FiLM接收参考动作与物体条件，几何分支编码1024个点；从高斯噪声向残差积分后加回IK参考。HOT3D模型约19.57M参数、10步Euler采样。
3
用物理验收筛候选并扩大覆盖
图2(b)先用少量位姿、时间、尺度和摩擦扰动发现可重定向段，再改变物体物理与几何扩展。接受条件同时约束跟踪、穿透、持续挤压力和单指力，低跟踪误差本身不能保证有效抓握。
4
区分开环多采样与闭环初始化
每条示范生成多个候选并在仿真检验，任一通过才计为多候选成功；长时NIST任务把生成控制作为MPC初值继续反馈修正。高采样成功不能换成一次推理即能执行成功。

已阅读v1完整正文及其公开附录、核对作者实验与必要原图；未独立复现实验。

来源证据HOT3D用28480条MPC成功轨迹训练；1000条测试上256候选56.2%，DIAL-MPC3000候选27.2%，单轨迹CPU354.1对2689.3 core-s。表1 / §5.2 / 附录G ↗

我的解读7.6倍针对表1单轨迹；若计种子生成，论文实用数据生成估计为2.62倍，不能把两种口径混写。

来源证据NIST开环256候选4.7%；GNR+MPC可用2296候选达到92.2%，而普通MPC3440候选。 §5.3 / 附录D.1、D.4、F ↗

我的解读长时精度需要反馈。附录表8给222480条联合成功、D.4给222806条；本文保留约22万规模，不声称精确总数已一致。

作者项目页目前主要给论文和展示，并提示更多细节待发布；未核实可下载实现、权重及223k数据，不标开源。

LICENSE论文与原图CC BY-NC-ND 4.0；仅原样引用图2作方法评论。未核实数据、模型或代码的独立许可。

独立分析 · 未复现实验

1000条含未知物体、抓取和几何的测试及种子规模消融，支持先验能改善搜索而不是只记忆已解轨迹。

HOT3D单候选仅18.1%，256候选56.2%；NIST开环256候选仅4.7%。成功依赖候选筛选或MPC，不能当实时策略成功率。

值得关注的生成式数据引擎；主要突破是摊销搜索成本，真实机械手迁移仍需验证。

未执行的验证方案：在固定种子、相同CPU预算和统一物理参数下比较GNR、MPC及GNR+MPC，分别报告候选成功、筛选错误及真实机械手执行率；额外改变接触刚度检查力标签稳定性。