大模型全文深读与原图讲解

MoE 解码：不用校准数据，如何只读一部分专家通道

节省专家权重读取，能否转化为端到端速度？

KAIST、DeepAuto预印本首发 · 近7日补收 2026.10.27

代码开放 · 范围见说明

IN A NUTSHELL

这项工作针对冻结 MoE 的解码阶段，用驻留的三值权重草图筛选通道，精确计算 top-k，再以低秩映射补偿未计算部分。重点是实际内存读取量，而不只是把激活置零的比例。

图解主要方法

节省专家权重读取，能否转化为端到端速度？

1
草图先筛选
图6先用 Hadamard 分块的三值 gate/up 权重草图，结合当前隐藏状态估计通道贡献；评分还包含路由权重和 down 投影范数。草图常驻GPU，不需要校准样本，但本身占显存。
2
固定预算读取 top-k
在当前 token 路由到的专家间选择通道，而非用校准阈值决定一个可变数量。选中列从原始 BF16 权重精确读取和计算；完整 prefill、首token、共享专家与稠密模块仍按原路径运行。
3
估计被跳过的贡献
用仅从权重得到的 rank-32 SVD 恢复映射补偿其余通道输出。预算核算计入草图、恢复映射和32字节硬件扇区，因而通道比例不等同实际读带宽。

已阅读正文与方法、实验相关附录，核对实验条件与原图；未独立复现。

来源证据三种后训练MoE、GPQA/IFEval/MMLU-Pro共9组；17.8%路由专家权重读取预算下，平均保留完整模型98.1%的相对准确率，最差95%。表1与附录设置 ↗

我的解读98.1%不是绝对答题准确率；降至约12.8%预算时，最差保留率约86.9%，有明确质量代价。

来源证据RTX Pro 6000 Blackwell、vLLM0.29单卡实验：batch1专家块约1.60–1.90倍，整模型约1.15–1.36倍；峰值整模型1.88倍出现在其他batch。速度与预算对照 ↗

我的解读只报专家块提速会高估用户实际收益；共享模块、attention和批量大小决定瓶颈。

官方仓库包含 reader/runtime、Triton实现、复现脚本和测试，Apache-2.0；需自备各模型权重并遵守上游条款。本机未运行CUDA复现。

LICENSECC BY 4.0

独立分析 · 未复现实验

工作同时报告实际读量、质量和整模型耗时，较单独激活稀疏率更接近部署问题。

硬件验证集中于一代GPU；草图约7%与恢复映射约0.5%额外常驻存储，并非模型压缩。超参数仍经 OLMoE 开发集选择，“无校准数据”不等于无开发数据选择。

值得在内存带宽受限的MoE解码上复测，但不能将局部读量减少直接换算为同倍数吞吐。

未执行的验证方案：在目标GPU固定上下文、输出长度和并发，比较原生/稀疏实现的端到端延迟、峰值显存、长推理截断率及逐题准确率。