OPRD:让代码智能体从失败轨迹中的提醒学习
训练时可见诊断提醒,部署时不带提醒,怎样避免把未来信息收益算成推理能力?
OPRD先生成无提醒的学生轨迹,再让带全局和局部提醒的教师在相同前缀上提供分布监督。成功轨迹做自模仿,失败轨迹用反向KL,目标是将提醒遵循内化到较小代码模型。
Yuechen Luo 等 / 清华大学、上海人工智能实验室、NUS阅读简报
每日研究 · 覆盖 2026.10.10 — 2026.10.17
以下为当期记录;研究详情页展示最新已核对信息。
训练时可见诊断提醒,部署时不带提醒,怎样避免把未来信息收益算成推理能力?
OPRD先生成无提醒的学生轨迹,再让带全局和局部提醒的教师在相同前缀上提供分布监督。成功轨迹做自模仿,失败轨迹用反向KL,目标是将提醒遵循内化到较小代码模型。
同一个隐藏状态换一个读出器,能否解释早期能力评测的变化?
论文将最终隐藏状态中的可解码信息、模型原生输出和跨检查点读出扫描分开测量,再以参数轨迹稀疏字典追踪输出矩阵。主张是早期评测存在读出层滞后,不是已经找到通用能力增强算法。
来源裁判能否阻止智能体将自己的推测写成长期记忆?
Source-Judged Compaction在既有摘要器后增加条目级来源检查:有环境输出或旧摘要支撑则原样保留,否则整条删除。它验证的是来源,不是事实真伪;旧摘要中的错误仍可能被继承。
该期没有收录这个领域的人物动态。