Self-Play Pretraining：程序自博弈能学到多少通用结构

图 1 的奖励怎样让程序比随机字节更值得学习，又有哪些自然数据依赖？

1. 1

   把程序执行作为数据源

   图上方的生成器和学习器都从随机权重开始，词表为 256 字节、上下文 4096。生成器输出 Brainfuck 风格程序，由解释器在随机输入带上执行，形成学习器的下一字节训练数据。实际解释器有内存和运行时边界、宏指令与循环规则，因此不是完全没有人为归纳偏置。

2. 2

   用训练方向构造奖励

   图中央比较当前样本损失梯度与学习器此前一段参数位移，并加入 AdamW 预条件，取内积绝对值作为奖励。它鼓励与学习动态有关的结构，不是直接奖励样本难度，也不能等同于保证正向学习进展；绝对值会丢失方向符号。

3. 3

   让强化学习、变异与重放维持课程

   生成器通过带 KL 约束的策略更新和奖励加权学习改进程序，程序库按结构维持多样性；变异与重放提供其他候选。变异样本没有已知提议概率，不能照搬普通策略梯度修正。学习器始终用交叉熵学习执行输出，而非自然语料。

4. 4

   把迁移检验与世界事实分开

   图下方分别画自然序列的 bits/byte 和不更新权重的上下文任务。能预测统计结构，不意味着认识图像、理解语音或证明定理。DCLM 与 DNA 验证损失仍被用来选择超参数；关于具体世界的事实也无法仅靠通用程序搜索恢复。

以下为作者报告；已阅读 v1 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

已核实作者 Hugging Face 存在 learner 检查点与配置；配套 self_play_pretraining 仓库已有评分、评估与分析实现；生成器权重、优化器状态和训练代码不在该发布范围内。

LICENSE模型卡标注 Apache-2.0，配套评估仓库未核实独立 LICENSE；论文原图为 arXiv 非独占分发许可，仅引用必要图解，不把权重许可扩展到图片。