TTR Compressor:用推理时岭回归压缩相关 token
压缩器能否识别重复信息,而不只把邻近 token 平均?
把 token 块看成一次小型回归问题:在每次前向中求解压缩向量,以相关性抑制重复信息。语言和视觉实验支持其效率潜力,但压缩率不能直接当作端到端加速。
TTR Compressor 作者团队阅读简报
每日研究 · 覆盖 2026.10.16 — 2026.10.24
以下为当期记录;研究详情页展示最新已核对信息。
压缩器能否识别重复信息,而不只把邻近 token 平均?
把 token 块看成一次小型回归问题:在每次前向中求解压缩向量,以相关性抑制重复信息。语言和视觉实验支持其效率潜力,但压缩率不能直接当作端到端加速。
代理找到正确答案,和它可靠地完成研究,是同一个问题吗?
200道真实网页研究题及统一工具协议,把长程浏览、工具故障和证据定位纳入评测。领先模型正确率仍约四成;人工与代理预算不一致,不能直接把分数解释成全面超越人类。
减少外部检索,是否真的保留了可验证知识?
训练小型预测器从上下文生成记忆槽,再经门控交叉注意力融合到冻结LLM。论文显示特定问答平均分和检索次数改善,同时暴露基础模型退步、跨任务差异与成本核算边界。
该期没有收录这个领域的人物动态。