WISD：用弱化副本找到值得强化的推理 token
量化与剪枝如何提供自蒸馏信号，为什么弱化过头反而失效？
从原模型与弱化副本对相同轨迹的概率差构造训练目标，无需更强教师。剪枝版在五模型、五基准的25种设置平均提升5.5个百分点；数学与代码分别训练，且论文附录的评测预算存在不一致。
Yecheng Wu、Song Han、Han Cai阅读简报
2026.10.31 简报
每日研究 · 覆盖 2026.10.13 — 2026.10.31
以下为当期记录；研究详情页展示最新已核对信息。
3 项工作
Soft-MTP：修正多 token 预测里的高方差梯度
如何保留交叉熵的高效实现，让预测头学习位置对齐的主模型分布？
把多token交叉熵梯度拆成对齐主模型的信号和抽样残差，通过直通梯度耦合移除后者。31.5B token控制实验中改善困惑度与部分下游能力，训练吞吐近乎不变；推测解码增益远小于“翻倍”。
Jayden Teoh阅读简报
WorkFactory：先把工作环境造对，再训练办公智能体
合成任务如何避免缺资料、错依赖与把答案直接写进输入？
从职业意图构建隐藏的信息支持图，生成文件环境，再由看不到答案规划的探针实际执行并修复。112686个任务训练WorkPilot，多个办公基准提升；当前仓库仍是发布占位，论文中的数据和模型开放承诺尚未落地核实。
WorkFactory 论文作者团队阅读简报
人物与观点
0 条该期没有收录这个领域的人物动态。