aiwillknow.AI 前沿观察每日 08:00 开始整理
具身智能全文深读与原图讲解

DSP:让机器人先学会玩,再用世界模型选动作

少量无目标示范如何变成可重复采集的数据来源?

IN A NUTSHELL

DSP先模仿人类无目标玩耍,随后用同一策略自主采集接触转移,训练动作条件世界模型。规划时由玩耍策略提出候选,由目标奖励挑选;本文版本的RGB表格、结论与正文存在不一致,因此将硬件效果保留为作者报告。

01

图解主要方法

少量无目标示范如何变成可重复采集的数据来源?

少量无目标示范如何变成可重复采集的数据来源?
图2|玩耍采集、世界模型与规划查看大图 ↗
Amazon FAR、马里兰大学;Botao He 等,arXiv:2610.22340v1。原图未改动,仅引用方法讲解所需图。 · 原始来源与图注 ↗ · CC BY 4.0(论文)
  1. 1

    学习的是互动先验

    图2a以无目标遥操作轨迹训练扩散Transformer,输入观测历史,输出关节动作块。人类提供接触与换抓结构,而非每个最终任务的解法;这种示范先验仍是一种人工监督。

  2. 2

    自主玩耍扩展转移

    图2b部署策略记录观测—动作—后续观测。图2c用Diffusion Forcing给不同时间步不同噪声级别,学习给定历史和候选动作的未来状态;主要重定向实验使用手状态和带标签立方体姿态。

  3. 3

    用目标给候选排序

    图2d采样1024个候选,正文规划设置为预测50步、执行25步后重规划,以预测序列中的最佳目标奖励排序。目标只进入MPC评分,玩耍策略和动力学模型保持无目标;掉落重生后继续的仿真协议应单列。

  4. 4

    用模型内自玩蒸馏

    可选步骤从5.4万个历史状态各采24个目标,生成约130万MPC标签,训练带目标的闭环策略。减少在线搜索成本,但继承模型误差,不是新增130万真实成功示范。

02

实验与证据

已阅读正文全文(未见独立附录),核对实验条件与原图;未独立复现。

来源证据初始和目标相差超过90°,2500控制帧;0.6rad阈值下MPC91.4%、hindsight BC53.9%。701K计数帧对照PPO344M帧,后者该阈值86.7%。 仿真重定向:128个固定种子试次 ↗

我的解读约490倍差异是训练交互帧口径,不含示范、模型训练及规划计算,且PPO在更严精度条件下仍有优势。

来源证据Sharpa22关节、Manus示范、ZED标签跟踪;硬件时限120秒。1024候选的端到端重规划中位133.6ms、p95 141.1ms,RTX5090。 硬件协议与时间成本 ↗

我的解读异步动作块执行与重规划耗时是不同频率;不能把15–18Hz执行宣称成每步完成一次完整MPC。

来源证据正文RGB段把34.4/53.1/76.6%归给RGB策略、56.2/78.1/89.1%归给加入MPC;表II却以RGB-space/State-space命名两行。结论还保留硬件结果需冻结协议及部分结果待插入的文字。 公开版本内部不一致 ↗

我的解读不将这些数值当作已澄清的因果比较。保留方法与已说明的条件,等待作者统一协议、表格和最终结果。

03

开放情况与使用许可

作者FAR-hands/play_policy仓库包含数据采集、策略训练和规划实现;README仍写明代码、检查点和数据的许可证待作者选择。虽提供下载说明,本次未下载权重/数据,不能认定已经授予开源使用许可。论文及原图CC BY 4.0不自动覆盖这些资源。

LICENSECC BY 4.0(论文)

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

同一玩耍先验同时服务数据采集和规划提案,能减少模型在完全随机、缺少接触支持的动作空间里搜索。

反方 · 哪些结论还不够

当前版本有明确表文冲突及临时结论;单立方体、位姿标签、掉落重生和较长时限限制外推。自主玩耍的安全性来源于示范,不构成形式保证。

综合判断

值得跟踪的数据采集—模型—规划闭环;硬件成功率和RGB增益需作者澄清后再作为选型依据。

我会先做的验证

未执行的验证方案:固定不重生的闭环试次、最终姿态与持续保持条件,比较同预算hindsight BC、MPC与蒸馏策略,统计掉落、人工重置及规划算力,先要求作者澄清表II。

继续探索具身智能