MoE 解码:不用校准数据,如何只读一部分专家通道
节省专家权重读取,能否转化为端到端速度?
这项工作针对冻结 MoE 的解码阶段,用驻留的三值权重草图筛选通道,精确计算 top-k,再以低秩映射补偿未计算部分。重点是实际内存读取量,而不只是把激活置零的比例。
KAIST、DeepAuto阅读简报
每日研究 · 覆盖 2026.09.30 — 2026.10.29
以下为当期记录;研究详情页展示最新已核对信息。
节省专家权重读取,能否转化为端到端速度?
这项工作针对冻结 MoE 的解码阶段,用驻留的三值权重草图筛选通道,精确计算 top-k,再以低秩映射补偿未计算部分。重点是实际内存读取量,而不只是把激活置零的比例。
为什么同一轮共享更新尺度,仍要保留 token 之间的差别?
长任务的奖励通常要到末尾才出现。MPO 先在助手轮次上估计优势,再将轮内的细粒度差异加入;更新时使用整轮概率比,但保留各 token 的独立梯度。它针对长链工具调用的训练单位错位,而不是给每个 token 复制同一个奖励。
结构化记忆的净收益应如何与可检索的原始记录比较?
论文将记忆收益拆成两组题:记忆答对而 RAG 答错,以及 RAG 答对而记忆答错。后者是“记忆税”。通过金标准检索与信息保留审计,作者区分记录构造损失和访问损失,避免只用平均准确率解释复杂记忆系统。
该期没有收录这个领域的人物动态。