aiwillknow.AI 前沿观察每日 08:00 开始整理
具身智能全文深读与原图讲解

Echo:把停止与失败信号同动作一起预测

机器人能否在执行动作时知道任务结束,或需要恢复?

IN A NUTSHELL

Echo给π0.5动作块加入停止与失败信号,用成功、失败、干预前和恢复轨迹共同监督,并通过异步去噪让信号影响动作。真实任务评分改善,但它既不是无标注训练,也尚未证明模拟中的失败监测和自动停止能力。

01

图解主要方法

机器人能否在执行动作时知道任务结束,或需要恢复?

机器人能否在执行动作时知道任务结束,或需要恢复?
图2 · 数据、信号目标与异步去噪耦合查看大图 ↗
上海交通大学、Spirit AI、清华大学等,原论文图。保留原始PNG内容。 · 原始来源与图注 ↗ · CC BY 4.0(论文及原图)
  1. 1

    1 · 图2左侧:四类轨迹各有职责

    成功遥操作、终止失败、干预前片段和恢复演示构成训练数据。信号目标由轨迹结果、子任务边界和动作填充构造,不要求逐帧进度分数,却仍需要人工边界、干预和轨迹级标签;失败动作不直接进入模仿损失。

  2. 2

    2 · 让信号与动作共享信息而不互相泄露

    动作、Stop Signal和Failure Signal用不同输入输出投影与token组,动作可与两类信号交换信息,但SS与FS之间屏蔽注意力。填充区标记任务终结,恢复区失败信号按位置下降,不能把构造目标当成真实物理风险概率。

  3. 3

    3 · 信号先去噪,动作再细化

    在动作去噪尚未结束时,信号先达到干净状态并保持,用于条件化剩余动作迭代。真实实验的清洁时间设置与公开模拟仓库配置并不完全相同,复现应记录tau约定,不能直接互换。

  4. 4

    4 · 恢复表现与信号检测分开验证

    真实任务观察动作评分、信号分类及恢复案例;附录模拟实验单独比较LIBERO-Recovery成功率。模拟信号未用来终止回合,数据没有失败起点标签,因此不能用模拟帧准确率证明自动失败检测已解决。

02

实验与证据

已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。

来源证据插花任务评分从5.67±0.92到8.33±0.69,抽屉从5.4到7.9;评分范围0–10,含接触扣分。 真实机器人:五任务各30次 ↗

我的解读8.33不是83.3%成功率;插花ID子集9.33→8.67而OOD 2→8,平均值也有分布差异。

来源证据RTX4090单次约115→120ms,token由60增至180;Capsule与Drawer测试均30次成功,没有失败真值样本。 信号与效率 ↗

我的解读小延迟增加有吸引力,但全成功子集不能建立失败召回率。

来源证据150个恢复场景、每场10次、3个评估种子,每模型4500回合,成功率32.67→34.76。单checkpoint,信号不控制终止。 附录A10模拟 ↗

我的解读约2.09百分点的独立模拟收益较温和;89.97%的逐帧标签准确率只覆盖持续/成功状态。

03

开放情况与使用许可

官方项目链接Echo-Sim实际仓库,含echo训练/评估代码、配置、测试与数据来源清单。其公开范围为模拟扩展,不冒充全部真实机器人系统;第三方许可保留在LICENSES及THIRD_PARTY.md,未确认统一新增代码许可,故不笼统标为MIT或Apache。

LICENSECC BY 4.0(论文及原图)

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

把执行状态作为动作生成的一部分,提供了连接失败数据、恢复行为与停止判断的具体监督机制。

反方 · 哪些结论还不够

标签依然依赖任务和人为干预;真实失败检测覆盖不均,模拟实验没有失败起点真值,多个评估种子不等于多个独立训练种子。

综合判断

可以作为恢复策略和信号设计的可复现起点;距离可信的在线安全监测还需要失败专用测试。

我会先做的验证

未执行的验证方案:建立含成功、卡住、碰撞、误停、可恢复偏离的平衡测试集,标注真实失败起点;分别测检测延迟、误报率和闭环恢复成功,固定动作预算比较启用与禁用信号的策略。

继续探索具身智能