工作记忆读出瓶颈:看见正确信息,仍可能答错
N-back 的错误究竟来自注意力定位不准,还是干扰内容进入决策?
研究在三类共15个预训练模型中,用逐试次注意力、线性探针与因果干预区分定位失败和读出失败。结果更支持干扰解释,但已知目标位置的抑制实验只是机制诊断,不能直接成为通用长上下文修复方案。
Dongyu Gong · Yale University阅读简报
每日研究 · 覆盖 2026.10.11 — 2026.10.18
以下为当期记录;研究详情页展示最新已核对信息。
N-back 的错误究竟来自注意力定位不准,还是干扰内容进入决策?
研究在三类共15个预训练模型中,用逐试次注意力、线性探针与因果干预区分定位失败和读出失败。结果更支持干扰解释,但已知目标位置的抑制实验只是机制诊断,不能直接成为通用长上下文修复方案。
怎样在保留预训练视觉语言能力的同时,学习跨视角位置和连续转向?
DK-VLM在Qwen视觉语言骨干选定层并行加入几何注意力,用场景点和相机姿态调制token关系,再用门控融合。参考系组合监督教模型逐步更新朝向。其证据支持空间问答提升,但不是机器人闭环控制或可编辑3D资产生成系统。
排序后的近直线形状并不专属于语言模型;斜率与训练变化才是更关键的证据。
论文把每一步的词表logit排序,拟合截距和对数秩斜率,并与随机分布及训练中间检查点对照。它展示了压缩排序概率谱的可能性,但没有恢复尾部词元身份,也没有证明能直接省掉词表计算或可靠判断事实真假。
该期没有收录这个领域的人物动态。