On-Policy Self-Training：让带提示的自己教会不带提示的自己

自生成题目和特权信息，怎样变成学生真正能独立使用的能力？

1. 1

   1 · 生成后还要筛题

   围绕给定主题生成问题、解释和答案，把后两者作为教师可见的特权信息（PI）。在独立上下文和问题改写下检查答案一致性，再过滤学生已能稳定答对的简单题。这里的“无外部数据”仍依赖主题描述与预训练知识；视觉版本还使用无标签图像，一致也可能一致地错。

2. 2

   2 · 图2里的学生先走自己的路

   学生只看问题，自回归产生回答；教师看问题加PI，在同一学生轨迹上给出下一词分布。逐词分布散度提供密集训练信号，比只奖励最后答案更明确，但教师不是外部真值裁判。

3. 3

   3 · 用慢更新教师维持训练目标

   教师参数通过学生的指数移动平均更新，训练与生成新题交替进行。附录消融中EMA系数0.05对应MMLU47.7，不使用EMA仅38.1；这里比较的是论文的固定训练设置。

4. 4

   4 · 分开检查模式与域外代价

   七轮是报告设置中的最佳点，十二或二十轮均为46.2，不能假定多训练总更好。思考模式与非思考模式收益也不同，应分别报告知识问答、数学和视觉任务，而不是只给一个平均数。

已阅读正文与方法、实验相关附录，核对实验条件与原图；未独立复现。

已核对论文全文、附录与首发信息；本次未确认作者正式代码或权重发布入口，按论文公开处理。

LICENSECC BY 4.0（论文及原图）