Ropedia W0:用相机轨迹与骨架统一跨本体世界预测
把人的第一视角经验用于机器人移动与操作,会迁移什么
Ropedia W0将移动表示为相机射线图,将操作表示为投影骨架,用同一条件接口训练人类和机器人第一视角视频预测。研究构建约1万小时人类、3000小时机器人数据,并报告低数据适配、长视频及策略评估结果。跨本体共享接口较明确,但视频预测、任务进度与真实成功率必须分别理解。
图解主要方法
把人的第一视角经验用于机器人移动与操作,会迁移什么

- 1
图4左:先统一几何标注
14个人类和13个机器人公开数据源加6000小时自采视频,经质量过滤、相机轨迹估计、人体手部重建及机器人FK处理。机器人投影常有校准偏差,因此额外人工标注和修正;裁成81帧、640×480、16fps训练窗。
- 2
图4中:分开移动和操作控制
相机位姿相对首帧,用六通道Plücker射线表达;机器人保留本体原生骨架结构后投影到图像。腕姿态可选,1.5倍视野骨架补充画面外手臂,避免强行把所有机器人变成相同关节动作向量。
- 3
图4右:融合到视频扩散骨干
相机和骨架编码以零初始化投影加到视频token;非像素对齐的宽视野骨架通过交叉注意力注入。先做人类预训练,再按人类/机器人各50%采样中训练,缺失可选标注用门控关闭。
- 4
蒸馏与应用需要另看条件
Causal Forcing得到四步因果生成器,DMD对齐双向教师,LongLive用有限KV缓存流式生成。规划时对候选动作生成未来视频,再由外部价值模型评分;世界模型本身并不直接保证所选动作安全或有效。
实验与证据
已阅读正文与全部公开附录,核对实验条件与原图;未独立复现。
来源证据在100窗Xp-Teleop上A14B中训练模型无目标集后训练PSNR16.42,全数据后训练18.74;跨本体400窗八本体为21.98。零样本指目标数据集未参与训练,本体可能已通过其他数据集出现。 表4及跨本体定义 ↗
我的解读不能称完全未见机器人零样本控制;视觉PSNR提升不是物理动力学误差下降的直接证明。
来源证据四步5B生成含VAE解码约21.3fps,125帧约6秒、首块约1.4秒;61秒预测PSNR13.98。A14B在ω-HOME约32秒序列中PSNR由首段29.33降至末段12.35。 附录B/D长时结果 ↗
我的解读吞吐超过帧率不等于低延迟闭环控制,长时仍明显漂移;论文只称单GPU,性能需结合硬件和端到端路径复测。
来源证据仿真五个策略检查点相关性0.984,真实三个检查点加专家参考0.996;真实规划任务进度55%,最佳固定策略45%。FastWAM用其初始化后LIBERO-Plus整体50.06%到56.82%,少示范下部分相机/噪声子项反而下降。 下游实验与表6 ↗
我的解读相关性基于很少的策略点;任务进度不是完整任务成功率,整体泛化提升也不代表所有扰动均改善。
开放情况与使用许可
2026-10-21打开项目、代码树和HF模型文件:已发布5B预训练/中训练safetensors及推理代码;A14B、评估和后训练代码在待办列表。代码标示Apache-2.0,5B模型卡为CC BY-NC 4.0,不能笼统称全套可商用。论文arXiv非独占,图4仅必要评述引用。
LICENSE作者版权;arXiv非独占托管许可
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
显式相机与本体原生骨架提供可解释的跨数据接口,人类预训练和同架构初始化对照支持其低数据适配价值。
反方 · 哪些结论还不够
接口没有显式接触和对象动力学,人工标注成本高;像素和姿态估计指标不能替代因果物理测试。分钟生成仍衰减,真机下游任务与策略样本有限。
综合判断
具有可复用接口和已发布5B推理资产的世界模型研究;优先验证动作跟随和失败预测,再考虑进入规划循环。
我会先做的验证
未执行的验证方案:保持相机/骨架输入相同,改变摩擦、质量与接触结果,检查模型是否只复刻运动外观;用更多未知策略验证排序,报告长时错误累积、候选筛选成本和真实完整任务成功率。