具身智能全文深读与原图讲解

Noise Space Learning：冻结VLA，只学习从哪里开始去噪

轻量噪声策略能重分配已有行为，但仿真最优算法未必适合实机

Junjie Lu、Chuheng Zhang 等预印本首发 · 故障期间补收 2026.10.09

论文公开 · 实现开放待核

IN A NUTSHELL

在流匹配VLA前放一个上下文条件噪声策略，以PPO、SAC或优势加权回归学习初始噪声，动作生成器完全冻结。文章的核心是对三种优化方式在交互、更新成本和实机执行条件下作比较。

图解主要方法

轻量噪声策略能重分配已有行为，但仿真最优算法未必适合实机

1
在动作生成器前调整噪声分布
图1上排橙色模块根据池化VLA特征和本体状态输出对角高斯均值方差，蓝色生成器固定；区别于中排改生成器和下排改输出动作。LIBERO使用四层512宽MLP，32维噪声沿50步预测跨度重复。
2
不穿过大模型反传，直接训练噪声策略
PPO用噪声分布概率比，SAC通过噪声空间双critic更新actor，AWR对成功轨迹的噪声做截断指数优势加权拟合。值模型可看成败样本，但无成功回放时AWR actor无更新信号。
3
控制回放与计算预算
LIBERO每epoch每任务50重置、每状态8次，共4000轨迹，预测50步执行前10步再规划。主设置AWR/PPO/SAC更新倍率1/2/4不同；SAC限制噪声幅度，任务均衡和成败均衡帮助其稳定。
4
把人类纠正反演成噪声监督
实机使用UniSteer式固定点反演，把人类动作块映射回冻结生成器的噪声，再与机器人回放共同训练AWR。只是偏向已有生成器可表达的行为，不能保证产生原模型支持之外的新技能。

已阅读正文与全部公开附录，核对实验条件与原图；未独立复现。

来源证据SmolVLA-Full与π0.5-One两设置平均最佳成功率SAC83.5%、PPO81.6%、AWR79.1%、Action-AWR79.4%；每批更新9.93/2.34/1.09秒，对Action-AWR210.20秒。表1、附录B ↗

我的解读结果取60epoch内最佳，更新预算不同；时间排除采集和评估，不能说整个机器人训练只需1秒。

来源证据四实机任务各40次，初始平均37.5%，自主AWR71.3%、残差RLT70.0%，人类辅助AWR83.8%。更新累计均值1.53分钟，辅助2.04分钟。表3、附录B.2 ↗

我的解读不含示范采集、实机交互或初始SFT；逐任务并非全胜，插孔RLT75%高于自主AWR70%。

来源证据最小KL结论要求确定生成器、固定外部上下文分布、目标在原行为支持内、任意可测噪声分布。实际actor只是对角高斯；不同确定映射的联合KL还可能无穷。附录A理论边界 ↗

我的解读信息成本下界不是样本效率、全局最优或安全保证，冻结参数也没有实证保证旧技能不遗忘。

来源证据实机SAC串珠32轨迹出现非预期触桌，5tanh幅度上限仍有输出到4.96，actor critic分歧显著高于回放。RoboTwin为每任务独立actor，SAC第30epoch Easy84.25%、Hard77.25%。附录B.5、C ↗

我的解读限噪声不等于限碰撞；不能将实机AWR相对较稳或仿真高分包装成形式安全保证。LIBERO基线随机噪声、NSL均值评估亦需对齐。

已核对论文正文与全部理论、实现及RoboTwin附录；全文没有官方实现或权重链接，开放范围保持论文公开，未独立复现。

LICENSE作者版权；arXiv非独占托管许可

独立分析 · 未复现实验

噪声入口让轻量策略利用冻结大模型已有动作能力，更新成本大幅下降；区分仿真大预算SAC和交互受限AWR的证据具有实际部署参考价值。

受冻结生成器支持与高斯actor表达力限制；最佳epoch选择、单种子和不同更新预算影响比较。噪声先验偏移可造成危险动作，旧技能保留与跨形态泛化尚待验证。

适合已有可用VLA的任务适配，AWR在有限交互下值得优先复现。结论应落在具体任务和资源预算，不应把理论KL最优扩展成机器人执行保证。

未执行的验证方案：固定总交互和总更新时间，多种子采用独立最终测试；对齐随机与均值解码，增加零成功初始化、旧技能回归、接触力和关节边界记录，再测试是否需要局部生成器更新。