优势引导 VLA 后训练：先估计，再校准，再加权

图 2 的三段比较怎样避免把不同改动混成一个收益？

1. 1

   固定数据后比较优势构造

   每项任务约 40 小时专家数据，另有 100 次自主轨迹与 100 次接管轨迹。π0.5 策略每次输出 30 个动作、30 Hz 执行。比较 IQL、SARSA 等评价器，以及 Q−V 与十个动作块的 TD 差；奖励主要来自末端成功，γ=0.96。

2. 2

   用排序诊断代替假定真优势可知

   接管配对约 200 组，检查人接管片段是否比自主片段得分更高；进度配对约 400 组，用视觉相似和人工子任务定义选择可比片段。这些是代理顺序标签，人接管和进度划分都可能带有状态选择偏差。

3. 3

   按价值阶段校准分数

   将演示与自主来源分开统计，再按价值分成八组做标准化，与全局标准化和相对时间分组比较。样本不足的小组回退、标准差设下限，统计量固定；目的是避免某个容易阶段只因分数尺度大而支配训练。

4. 4

   保留低分样本，但降低权重

   固定 4000 次策略更新、batch 2048，用裁剪后的标准分指数加权；对比仅训练人工数据的 DAgger 及每批只保留前 50% 的硬过滤。指数权重仍给低分样本非零贡献，因此比过滤更能保留状态覆盖。

5. 5

   真机结果与离线诊断对应

   在四个任务中逐段更换估计或校准方案，再看真机进度和成功率是否同向变化。这是有控制的配方比较，不是任意任务中最佳估计器、归一化和优化器的全组合证明。

以下为作者报告；已阅读 v1 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

已打开作者项目页，内容为方法、结果和演示；未发现本研究可核实的训练实现下载。页面模板仓库和 LeRobot 上游均不算本研究代码。

LICENSE代码与数据许可尚未确认。