PACE:四比特循环状态,先减少舍入次数
周期缓冲、通道分组与少量高精度头,各解决什么误差?
线性注意力的循环状态反复被量化会积累误差。PACE把逐token舍入改为周期刷新,再沿持续异常值所在的通道分组,并给误差难衰减的少量头更多精度。它压缩的是循环状态,不是所有权重或全部KV缓存。
Patrick Haller、Filipe Laitenberger、Alan Akbik阅读简报
每日研究 · 覆盖 2026.10.09 — 2026.10.23
以下为当期记录;研究详情页展示最新已核对信息。
周期缓冲、通道分组与少量高精度头,各解决什么误差?
线性注意力的循环状态反复被量化会积累误差。PACE把逐token舍入改为周期刷新,再沿持续异常值所在的通道分组,并给误差难衰减的少量头更多精度。它压缩的是循环状态,不是所有权重或全部KV缓存。
共享视觉编码器的掩码输出,如何与文字推理对齐?
Lens-0在Qwen3.5-4B上增加轻量掩码头,将定位、分割和细粒度问答合在同一模型。它利用语言上下文决定分割对象,但掩码本身没有重新作为视觉输入送回语言模型,不能等同于主动放大观察。
集合内多样性明显改善,但自动影响力分数不等于科学发现。
论文把科研创意生成从单条回答改成三个结构化想法组成的集合,用质量乘以与前面想法的距离训练 Qwen3-8B。最强版本提高自动创意效用,却降低对输入文献的依赖;小规模人工与执行检查只支持其作为候选方向生成器。
该期没有收录这个领域的人物动态。