λ₀:把人类第一视角经验转成全身机器人动作
人类数据扩展之前,身体、相机和动力学差异怎么处理?
λ₀以HumanVerse穿戴采集数据训练人形机器人移动操作。贡献不只是500小时数据规模,还包括三层动作对齐与分阶段训练;数据量、劳动成本、任务迁移和完整零样本能力必须分别解释。
图解主要方法
人类数据扩展之前,身体、相机和动力学差异怎么处理?

- 1
采集与同步:先让多模态记录可用
GoPro第一视角与PICO全身运动及手部估计组成记录,利用陀螺仪校准时间偏移并保留有效性mask。500小时是过滤前原始量,最终32,993回合;设备运动估计并非光学动捕真值。
- 2
图6三层对齐:从人体到机器人执行
先按人形机器人的尺度修正人体参考,再用逆运动学获得机器人参考,最后通过动力学响应模型优化控制表示,使固定末端目标在实际身体约束下可达。
- 3
观测对齐与课程训练
去除人类手臂并合成机器人外观,减轻视觉域差;Qwen3.5-2B先学人类交互,再用HumanVerse学习协调,最后用机器人数据调整动作投影与软提示。
- 4
用全身动作块连接低层控制
状态包含身体关节、手关节及重力信息,50步动作块包含64维SONIC表示与12维手控制;高层语义动作仍依赖低层控制器与机器人后训练。
实验与证据
已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。
来源证据四个真实任务各10个固定初始配置,共25/40成功,即62.5%,最佳基线16/40;任务进度均分80.4。 Table 1 与Appendix D ↗
我的解读进度分与完整成功不同;椅子任务进度也不在每个对照中领先,不能只报平均数。
来源证据50任务约1小时对齐测试,位置误差17.03降至3.83厘米、旋转36.06降至10.85度;固定机器人数据时完整中训练提升进度。 动作对齐与数据消融 ↗
我的解读支持对齐与人类数据贡献,但训练种子和泛化范围有限。
来源证据SIMPLE 90%使用逐任务选优配置;4.23倍劳动节省来自代表性两任务的人员时间核算。 仿真与劳动核算 ↗
我的解读不等同于一个固定策略的统一榜单结果,也不能外推为全部500小时生产成本同比下降。
开放情况与使用许可
openlambda代码Apache-2.0,已提供部分采集、对齐和Stage I/II流程及四个例子;README明确HumanVerse/预训练数据未包含,完整Stage III、评估和实机部署流程未发布。
LICENSE作者版权;arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
将形态差异落实为可检查的同步、运动学与动力学步骤,为全身数据规模化提供具体接口。
反方 · 哪些结论还不够
零目标机器人数据实验仍可使用任务相关人类数据;主模型包含机器人后训练。完整部署与数据开放尚不齐全。
综合判断
值得跟踪的人类数据路线,宣传中的“机器人零数据”和“低成本”需附实验条件。
我会先做的验证
未执行的验证方案:固定机器人示范预算,分别去掉尺度、IK、动力学校正,记录任务成功、动作误差、跌倒与人工接管,并跨身体尺寸复测。