TierKV:用分层 KV 缓存换取手机长上下文
预测、低秩与闪存协同的收益,必须和解码减速一起看
TierKV 在解码前预测缓存需求,把上下文分到内存精确、低秩和闪存三层,再用融合注意力与 I/O 调度降低额外开销。它扩展了可运行的上下文,但论文数据不支持“所有阶段都更快”或“精度几乎不变”的笼统结论。
佐治亚大学、北京大学、Western Digital Research阅读简报
每日研究 · 覆盖 2026.08.25 — 2026.09.22
以下为当期记录;研究详情页展示最新已核对信息。
预测、低秩与闪存协同的收益,必须和解码减速一起看
TierKV 在解码前预测缓存需求,把上下文分到内存精确、低秩和闪存三层,再用融合注意力与 I/O 调度降低额外开销。它扩展了可运行的上下文,但论文数据不支持“所有阶段都更快”或“精度几乎不变”的笼统结论。
用正交残差解释随机符号旋转,再检查困惑度与任务准确率的分歧
这篇论文把线性层量化误差拆成可通过权重补偿的部分与正交残差,据此组合 L2 通道缩放、带随机符号的在线旋转和候选筛选。其 W4A4KV4 模拟结果改善困惑度,但不在所有模型上提高下游准确率,也未测实际部署加速。
低幻觉率与高拒答率必须放在同一张成绩单里
Memory Decision Layer 在检索与生成之间加入可解释门控,用相关性、记忆间可靠性和任务风险决定主动使用、辅助使用、忽略或拒答。关键不是“零参数消灭幻觉”,而是阈值怎样影响回答覆盖率,以及简单启发式是否足以识别真实冲突。
该期没有收录这个领域的人物动态。