aiwillknow.AI 前沿观察每日 08:00 开始整理
具身智能全文深读与原图讲解

CEL/FERT:96台机器人如何共享失败附近的成功经验

减少新增专家动作监督,是否等于不再需要人?

IN A NUTSHELL

CEL从已完成专家初始化的策略出发,把机器人群体执行产生的成功片段汇入共享训练;失败轨迹用于找到应加强的相似成功片段。论文同时研究局部故障隔离,避免单机暂停拖住整个群体。

01

图解主要方法

减少新增专家动作监督,是否等于不再需要人?

减少新增专家动作监督,是否等于不再需要人?
图3|失败引导经验检索微调查看大图 ↗
Tsinghua · AgiBot · Infinigence AI,arXiv:2610.25736v2。引用方法讲解所需原图;SVG栅格化为PNG,内容未改动。 · 原始来源与图注 ↗ · CC BY 4.0
  1. 1

    图3①②:先区分初始化与在线学习

    每项任务先做示范SFT与人工接管HG-DAgger。FERT阶段成功执行进入滚动缓冲,失败提供检索上下文;冻结视觉编码器结合本体状态生成表示,不把失败动作当成模仿目标。

  2. 2

    图3③:用失败的时间片寻找可学成功片段

    失败查询取终点前偏移10帧的90帧窗口;S-DTW允许不同速度的时序对齐,检索10个成功区间并前后各扩展30帧,保留失败前后的准备和恢复上下文。

  3. 3

    图3④⑤:提高相关片段采样优先级

    重叠动作块按检索结果增权,旧优先级按0.88衰减;对成功动作继续做条件流匹配。它不另训价值critic,但理论中的似然梯度与实际流匹配代理仍需区分。

  4. 4

    让收集和训练异步前进

    FATS将机器人、推理、训练worker分离,每500训练步同步策略;请求带身份与代次,拒绝故障前遗留的动作和结果。机器人局部恢复,其他机器人继续工作。

02

实验与证据

已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。

来源证据五任务各用两台留出机器人、每台60次评估;平均成功率由约81%到97.3%,96台手机包装达到118/120。 §4、Appendix H Table 11 ↗

我的解读训练群体增大同时增加总数据,不能据此证明固定数据预算下机器越多算法越优。

来源证据16台手机包装FERT为86.67%,去失败检索64.17%,不扩展检索区间57.50%。 Table 12 消融 ↗

我的解读说明检索及上下文有用;不同同步周期也改变表现,需要作为部署参数调优。

来源证据96台运行收集9,834回合,30次局部故障影响22台;同步方案仅收集33%是实测轨迹的重放估算。 §4.5 系统轨迹 ↗

我的解读支持异步隔离的潜在收益,但不是另一套同步系统的实地对照;人工午休、复位及结果标签仍存在。

03

开放情况与使用许可

项目链接至Apache-2.0的RLinf基础框架,仓库确有实现;本次未核实FERT/FATS完整对应实现、96台数据和任务权重已开放,因此仅标论文与基础框架公开。

LICENSECC BY 4.0

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

把失败用于定位“该学哪里”,又只模仿成功动作,具有清晰可测试的经验重用逻辑。

反方 · 哪些结论还不够

需要专家初始化、人工二元结果和复位;多机器人总数据、云端带宽与计算成本未与单机器人严格匹配。局部理论不能保证历史回放反复更新都改进。

综合判断

是群体学习与系统容错的扎实案例,尚不能称完全无人、自发部署学习。

我会先做的验证

未执行的验证方案:固定机器人小时、成功片段总数及初始化策略,比较随机成功回放和失败引导回放,并计入标注、复位、事故与网络中断成本。

继续探索具身智能