CEL/FERT:96台机器人如何共享失败附近的成功经验
减少新增专家动作监督,是否等于不再需要人?
CEL从已完成专家初始化的策略出发,把机器人群体执行产生的成功片段汇入共享训练;失败轨迹用于找到应加强的相似成功片段。论文同时研究局部故障隔离,避免单机暂停拖住整个群体。
图解主要方法
减少新增专家动作监督,是否等于不再需要人?

- 1
图3①②:先区分初始化与在线学习
每项任务先做示范SFT与人工接管HG-DAgger。FERT阶段成功执行进入滚动缓冲,失败提供检索上下文;冻结视觉编码器结合本体状态生成表示,不把失败动作当成模仿目标。
- 2
图3③:用失败的时间片寻找可学成功片段
失败查询取终点前偏移10帧的90帧窗口;S-DTW允许不同速度的时序对齐,检索10个成功区间并前后各扩展30帧,保留失败前后的准备和恢复上下文。
- 3
图3④⑤:提高相关片段采样优先级
重叠动作块按检索结果增权,旧优先级按0.88衰减;对成功动作继续做条件流匹配。它不另训价值critic,但理论中的似然梯度与实际流匹配代理仍需区分。
- 4
让收集和训练异步前进
FATS将机器人、推理、训练worker分离,每500训练步同步策略;请求带身份与代次,拒绝故障前遗留的动作和结果。机器人局部恢复,其他机器人继续工作。
实验与证据
已阅读正文与方法、实验相关附录,核对实验条件与原图;未独立复现。
来源证据五任务各用两台留出机器人、每台60次评估;平均成功率由约81%到97.3%,96台手机包装达到118/120。 §4、Appendix H Table 11 ↗
我的解读训练群体增大同时增加总数据,不能据此证明固定数据预算下机器越多算法越优。
来源证据16台手机包装FERT为86.67%,去失败检索64.17%,不扩展检索区间57.50%。 Table 12 消融 ↗
我的解读说明检索及上下文有用;不同同步周期也改变表现,需要作为部署参数调优。
来源证据96台运行收集9,834回合,30次局部故障影响22台;同步方案仅收集33%是实测轨迹的重放估算。 §4.5 系统轨迹 ↗
我的解读支持异步隔离的潜在收益,但不是另一套同步系统的实地对照;人工午休、复位及结果标签仍存在。
开放情况与使用许可
项目链接至Apache-2.0的RLinf基础框架,仓库确有实现;本次未核实FERT/FATS完整对应实现、96台数据和任务权重已开放,因此仅标论文与基础框架公开。
LICENSECC BY 4.0
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
把失败用于定位“该学哪里”,又只模仿成功动作,具有清晰可测试的经验重用逻辑。
反方 · 哪些结论还不够
需要专家初始化、人工二元结果和复位;多机器人总数据、云端带宽与计算成本未与单机器人严格匹配。局部理论不能保证历史回放反复更新都改进。
综合判断
是群体学习与系统容错的扎实案例,尚不能称完全无人、自发部署学习。
我会先做的验证
未执行的验证方案:固定机器人小时、成功片段总数及初始化策略,比较随机成功回放和失败引导回放,并计入标注、复位、事故与网络中断成本。