On-Policy Self-Training：让带提示的自己教会不带提示的自己
自生成题目和特权信息，怎样变成学生真正能独立使用的能力？
OPST 用模型自产的问题、推理与答案建立带特权信息的教师，再在学生自己的回答轨迹上做逐词蒸馏。Gemma 4 E2B 非思考模式的 MMLU 从37.5升至47.7，但跨任务平均提升掩盖了数学退步：它提供的是有条件的自训练配方，而非无监督产生新知识的证明。
Google、Ulm University阅读简报
2026.10.27 简报
每日研究 · 覆盖 2026.10.09 — 2026.10.27
以下为当期记录；研究详情页展示最新已核对信息。
3 项工作
TWIG：把模型权重写成共享离散决策树
同一套树表示能否同时说明存储压缩、定制电路成本和离散优化？
TWIG把每个权重表示为一条共享决策路径：符号、二次幂缩放、零门与查表选择由子树共同继承。论文给出统一表示和早期实验，其中BF16无损压缩可减少带宽，但加法器估算、量化精度和GPU吞吐属于不同证据，不能合并为普遍硬件加速。
LEAD Lab · ITMO University阅读简报
Omni-Woodpecker：在隐藏状态里纠正视听证据冲突
不训练新参数，怎样让模型少把“看起来如此”当成“听起来如此”？
OWP以全模态、仅音频、仅视频与文本四路探测定位冲突，再在冻结模型内部保护目标证据、抑制竞争先验。Qwen2.5-Omni-7B的跨模态幻觉指标改善明显，但干预有感知损失和额外延迟，需要把“抗幻觉”与正常问题准确率一起衡量。
南京大学、 中国科学院大学阅读简报
人物与观点
0 条该期没有收录这个领域的人物动态。