具身智能论文图解
ViLoMan
从人类关门动作到只靠机载观察的全身策略
IN A NUTSHELL
把人类与门的交互动作补成完整可执行轨迹，再将带特权信息的教师蒸馏成机载视觉策略。部署时用深度图和本体感觉直接输出关节动作。
01
图解主要方法
如何让机器人自己决定接近和接触动作，而不依靠部署时给定的运动参考？
图 2 · 数据、教师、学生与实机迁移查看大图 ↗
Zejie Tian、Ruibing Hou 等，ViLoMan，arXiv v1 Figure 2。原图未改动。 · 原论文与图注 ↗ · 图片版权归原作者；arXiv 托管许可不是通用图片再许可。本页引用必要原图作研究评述。- 1
先补足完整交互轨迹
左侧数据路径把人类接触动作与生成的接近动作组合；重定向和物理修正解决身体形态、起点与接触可执行性差异。
- 2
教师可以用更多信息
中间蓝色区域包含通用运动先验与残差交互策略；参考动作和物体运动给教师提供学生部署时无法获取的监督。
- 3
在学生走偏的状态上纠正
绿色区域通过 DAgger 在学生实际访问的状态提供教师动作。最终学生只接收本体感觉与深度图，右侧展示实机迁移。
02
实验与证据
作者实机测试为 8 种门角度与起始位姿组合、各 5 次，成功 32/40。成功要求稳定并把门角度降至 10° 以下，不能理解为扣上门锁。
03
开放情况与使用许可
核对全文、实验表和项目演示页；未发现可核实下载的作者代码或权重。
LICENSE论文为 arXiv 非独占托管许可；代码与权重许可未核实
04
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
我的判断：把接近、平衡和接触作为同一闭环问题，减少了多个控制器交接时的接口错误。在线纠正也直面学生偏离示范后的状态分布变化。
反方 · 哪些结论还不够
关门只有相对窄的任务语义。直接关节策略的成功，不能证明它比层次结构更适合长任务组合、换工具或跨机器人迁移。
40 次实机测试给出了有限环境中的成功证据；新门材质、深度失效和门阻力变化，仍需要独立评估。成功阈值与真实交付要求也应分开。
综合判断
对单一接触任务的端到端视觉控制很有参考价值。其下一步考验是末段可靠性和跨物体迁移，而不只是增加演示数量。
我会先做的验证
建议实验，尚未执行：保持训练预算一致，比较在线蒸馏与离线模仿；实机按门阻力、反光材质和初始角度分层测试，分别记录跌倒、未接触、阈值外停止及真正完全闭合的比例。