DeepSeek V4.1 Flash
缓存怎样压缩,以及近似重建会留下什么边界
新技术报告补充 CED、CSA2 与 SWA Bounded Replay 的分工:减少读入计算、跨层共享缓存,并用少量重算替代部分持久存储。沿用已有模型条目,不计作新模型发布。
方法与关键变化
CED 让解码器的全局 KV 从编码器输出投影而来;长输入的大部分位置不必完整经过解码器。本地滑窗状态仍有逐层依赖,不能简单理解成后半网络完全不运行。
CSA2 的 Full、Reindex、Reuse 三种模式分别重新计算缓存、共享缓存但重新选索引、或同时复用缓存与索引。FP4 再降低主缓存精度;这些措施分别作用于层间重复与存储字节数。
Bounded Replay 在需要恢复滑窗状态时只重放最近窗口。它主动接受近似状态;命中位置不同,恢复后的状态并不在数学上严格相同。
实验与证据
作者报告全局 KV 为 890 bytes/token,约为 V4-Flash 的四分之一;持久缓存约八分之一。前者不是整机显存,后者也不是总存储。报告承认稀疏选择与近似重建在未测边界上的风险;本站未复跑。
开放情况与使用许可
复核官方模型仓库含 48 个权重分片及 MIT 模型卡;本期更新来自技术报告,不重复宣称权重刚刚开放。
LICENSE代码与权重:MIT
我的判断
独立分析 · 未复现实验正方 · 为什么值得投入
我的判断:将全局状态长期存储、局部状态按需重建,是清晰的系统设计选择。其收益在长历史、频繁暂停恢复的代理负载中尤其值得验证。
反方 · 哪些结论还不够
压缩比不能替代端到端成本。若请求很短、缓存命中差或瓶颈在权重读取,较小 KV 未必显著改善用户延迟。
近似重放意味着恢复边界也是模型行为的一部分。普通一次性跑分难以检测在同一历史不同断点恢复时出现的不一致。
综合判断
这次报告让效率主张更可检验,但系统收益和极端边界可靠性要分别评估;我不会把四分之一缓存写成四分之一部署成本。
我会先做的验证
建议实验,尚未执行:同一长任务设置不同缓存切断点,对比完整前向与重放;报告输出差异、检索成功率、显存各组成、首 token 延迟和每个成功任务费用,额外测试重要信息恰好落在窗口边界的情况。