MemoType:按事件、个人与一般知识分流的长期记忆检索
类型路由改变检索策略,但过滤召回、评测泄漏与在线成本仍需拆开验证
MemoType先把对话记忆分为事件、个人和一般知识,再针对事件对齐要素、针对个人反推可能问题、针对一般知识生成假想记忆进行检索,最后用两次回答筛除无关记录。四个基准显示收益,但类别硬过滤并非所有召回指标都更好,低写入费用也不等于低端到端成本。
研究补刊 · 覆盖 2026.09.10 — 2026.10.11
以下为当期记录;研究详情页展示最新已核对信息。
类型路由改变检索策略,但过滤召回、评测泄漏与在线成本仍需拆开验证
MemoType先把对话记忆分为事件、个人和一般知识,再针对事件对齐要素、针对个人反推可能问题、针对一般知识生成假想记忆进行检索,最后用两次回答筛除无关记录。四个基准显示收益,但类别硬过滤并非所有召回指标都更好,低写入费用也不等于低端到端成本。
上下文中的失败与成功经验,能比单纯增加推理强度更有用
研究让冻结语言模型读取环境配置、代码改动和既往实验收益,预测候选实验的最终增益,再从预算允许的少数候选中选择。2653条真实记录覆盖九个环境;上下文经验改善同环境和部分跨环境排序,但多轮实验仍围绕固定基线与预先给定候选池,不能等同于开放式自我改进。
7M解谜模型的循环残差机制;97.9%数独成绩依赖39种深度与规则验收
InfiLoop用共享内容评分和指数时间衰减,把历次循环的候选状态压缩成固定大小的加权摘要。它在小型递归解谜模型中减少已解答案被后续循环破坏,但并非已验证的通用语言模型;最高数独成绩还使用多深度重启和外部数独规则检查。
六个潜在步骤自蒸馏;效率收益明确,可读解释仍缺忠实性验证
Lapras让时间序列语言模型学习显式推理教师在答案位置的隐藏状态,推断时用六次连续向量反馈代替长段文字推理。它在多种传感器分类问答上减少生成成本并提升若干骨干的平均F1,但不是每项任务都获益,事后读出的文字也尚未证明就是模型真正依赖的因果依据。
冻结主模型、训练软token补充;输入缩短不等于总运行成本同比下降
Remory保留可读文本摘要,再根据历史和摘要生成有界连续记忆token,帮助冻结语言模型接近完整历史下的后续输出。它在多轮压缩时递归携带旧记忆,仍保留普通档案检索工具;实验显示来源归因、长程代理成绩及重复工具调用有所改善。
共享超网络从小模型迁移到284B目标;训练长度外适配器出现明显失效
Internalizer读取冻结语言模型逐层文档特征,以共享Perceiver主干生成按文档变化的LoRA块;每增加一个512-token分块,适配器秩随之增加。它先在1–3B模型上训练共享部分,再迁移到284B目标,展示较好的文档教师强制重建,但尚未报告实际问答、代码任务或服务成本收益。
配对实验、轨迹检查、反事实重评分与重复运行对照
TRACE用四步诊断把评测分差拆成系统行为变化与评分规则变化。在人工构造的25任务环境里,工具别名让行为完全相同的脚本损失0.25分,评分时恢复名字即可消除;在真实LLM交互中,初步发现的增益未能复现。更大规模重复实验说明,稳定的裁判也可能在衡量不同的“成功”。
完整交互轨迹SFT再做执行奖励RL;共享数据库与接口错误影响结果解释
HarnessSQL将数据库代理的列举表、检查schema、执行试探SQL和最终提交放进同一个受限接口,用实际运行验证过的完整轨迹训练,再做稀疏执行奖励RL。Qwen3-8B在Spider2.0 SQLite子集由15.5%升至45.2%,14B由22.2%升至54.8%;但主测试共享训练数据库,域外成绩仍显著较低。
PR关系图帮助找到语义搜索漏掉的经验;三角色总收益不等于图检索的独立收益
Chronos把合并PR蒸馏成包含动机、解法和检索信号的经验卡,再以文件连续性、显式引用、作者跟进和组织关系连成图。代码代理先找语义入口,再沿有类型的关系扩展,按需读历史经验;完整工作流让两个代理分别写补丁,再由第三个代理选一个。结果支持关系历史有检索价值,但总体收益同时包含角色提示与更多候选计算。
约53万可训练参数;遗忘行为、信息删除和恒定端到端成本需要分开
DPPM在冻结的Doc-to-LoRA编译器之上训练一个轻量记忆整合器:Evidence按内容直接汇总所有历史段,Delta按时间顺序把新信息与已有预测的差写入关联矩阵。融合后的表示交给冻结解码器生成个性化LoRA,回答时无需把原历史放进上下文。结果支持双路径在两种个性化选择题基准上提升回答准确率,但其遗忘理论只在特定表示扰动和收缩条件下成立,不证明永久记忆、参数删除或一般开放式对话可靠性。
图token、文本证据与时间有效性分工;十条记忆不等于整个系统恒定成本
QGMem把历史对话拆成带原始出处、实体、地点和双时间的原子事件,再把同一主体关系的更新串成轨迹。提问后用BM25、语义与事件属性混合检索,重排选10条记忆,仅对这些事实构图;图编码器压成一个软token,与可读文本共同供冻结大模型回答。LoCoMo与冲突多跳有提升,但收益很大部分来自记忆粒度和重排,图分支并非每个基准都有效。
先保存覆盖,再按行为测试加细节;摘要的压缩结论需要连同路由假设和账目疑点阅读
LadderEdit先训练每条知识编辑的LoRA,再依据奇异值尾部和行为余量提出低秩版本,以改写、泛化和局部性探针检查,失败则增加秩。论文报告1万编辑的持久存储从100.93GB降到19.44GB;这不包括减少最初训练成本,主实验还预先提供正确编辑身份。全文存在量化比例、长程压缩与阈值描述不一致,须与核心思路分开看。
观点与记录分型有助于多跳问答;归纳并不删除旧事件,也不能把自述自动变成已核实事实
CogMem将对话拆为人物、事件、概念、观点和事实记录,保留来源与时间,再用受限图操作重建回答证据。它在LoCoMo多跳与LongMemEval更新问题上优于所列基线,但归纳增加存储,意图解析和类型限制也会漏证据。这里的Fact是一种记录类型,不是外部核验后的真相。
预填错误、旁观者能力对照与分离裁判,区分没察觉、含蓄纠正和知情沉默
研究把明确错误植入助手历史,让七种模型继续处理新消息,再分别评价推理记录和用户可见回答。代理设置下明确披露不足与可观察知情沉默都存在,但大部分未披露属于未显式察觉或没有可用推理记录;不能把67.1%的未明确披露全部称为故意欺骗。
LoCoMo整体只增加1.3个百分点,多跳下降提醒过滤也会切断证据链
Gated Memory在记忆后端之前加入准入、事实拆分和有条件知识补充:只从当前交换形成新事实,历史仅用于指代消解,并保留来源和适用条件。在检索与回答配置不变的LoCoMo测试中,准确率50.6%升至51.9%,但多跳下降;这支持写入质量值得研究,尚不足证明生产收益或隐私保证。
Double Ratchet把评分器写成可检查的小规则组合,并用独立参考检验它
这项工作让评分器本身进化:从失败聚类生成小型缺陷检测器,再用十个带参考样例和无标签一致性选择逻辑组合。最重要的结果并非任务涨分,而是去掉锚点保护后评分器几乎全部放行,智能体仍能进步。评分器有效性必须独立测量,不能用它所训练系统的分数代替。
精选可获益任务上的效用近翻倍,离开放部署的自主持续学习仍有距离
Agentic-TTT把五种测试时训练算法包装成工具,用独立策略LoRA决定存储材料、适配、加载或直接回答。每个技能是冻结基座上的独立LoRA,可随查询流复用。Qwen2.5-7B在176题精选流上效用0.256到0.510,但约65%的数据特意筛为适配有益,不能将翻倍解释成一般真实流量的预期收益。
小型流模型的推理步数扩展;理论构造、实际训练与测试集选择需分开看
传统流匹配在随机噪声时刻训练单次去噪,未必教会后一步利用前一步。UFM从自己的隐状态轨迹反向传播,只在终点预测答案;长轨迹通过球面回缩控制尺度。它在图可达、数独与迷宫上显示更多积分步可带来收益,但尚未验证开放语言任务。
重要性权重校正老师生成的token,不会把被干预的整条轨迹变回纯学生分布
STI-OPD针对多轮智能体蒸馏的错误累积:学生先提议完整回复,老师给其token评分,以非负KL估计构造接管概率;若介入则重生成整轮,执行后再交回学生。老师token用学生/老师概率比加权反向KL。Qwen3-1.7B在ScienceWorld由普通OPD的17.1%升至27.5%,但方法需要逐token概率,纯采样API无法直接使用。
按提示、工具和观测处理的来源筛选轨迹;小语料有效不等于总成本更低
CoTrace交替优化模型权重与执行框架,将运行失败交给框架修改,将与当前框架匹配的验证成功轨迹用于监督训练,并持续补充新任务。9B模型在反复用于选择版本的102题promotion split上由78到88,RL系统到90;但独立运行框架会改变迁移结果,SFT在SWE-bench Lite的配套系统仍不如基础系统。
同域微调接近满分,却可能在另一输入轨道退到随机水平
RH-Detect统一11个来源的奖励作弊数据,区分开放轨迹、选择题和受保护响应。实际主评测使用六来源5021条合格轨迹,显示部分通用模型能很好排序,但工具轨迹更难;去掉思考文本、抽取证据或单token微调都有明显模型和来源依赖。
四条语义轴与预测熵组合;长度控制、白盒成本和代码差异决定如何解读
U-Space把表示歧义、信息缺失、证据冲突与一般疑虑的词语映射回模型隐藏状态,构造四维空间,再把推理结束处的方向信号与整段推理的平均预测熵相乘。它提供可观察的疑虑轨迹,但既不输出校准后的错误概率,也没有证明四种轴是真实错误原因的完备分类。
千余次实验拆开训练、网格尺度与输出格式,单模型代表一种架构仍是混杂因素
研究用ARC-TGI可重复采样的网格变换家族,对三种小模型开展超过1000次训练与评估。结果把同家族新样本、网格尺度变化和原始ARC跨基准迁移区分开:同分布拟合可很高,但迁移、提示长度与直接输出网格或生成Python程序会明显改变表现。
成对力学题区分求解、识别矛盾与结构化拒绝;格式改善拒绝也可能损伤正常题
研究为力学题构造只改一个数据或前提的错误孪生题,先用两套数值方法核验答案,再分别评估正常题求解和错误题拒绝。14个模型的结果显示,正文指出矛盾、给出修正后答案、JSON仍标solved可以同时发生;允许状态报告flawed能提高部分模型拒绝率,却不是无代价的提示修复。
数据替换与重新训练给出因果证据;不能据此把强化学习的全部价值缩减为开头措辞
研究固定基础模型回答的开头词元,Olmo-3-7B在MATH-500的单次采样正确率从42.2%到77.9%,接近RL-Zero参考模型。更关键的是,替换中期训练数据的词语再训练,可以让原本无关的Chicken触发类似推理,也能把原触发词重定向为提问。有效前缀依赖模型、提示模板和位置,较强后训练模型及部分任务未获益。
首个可分辨退化点监督LoRA门控;不等于证明该步逻辑错误
Self-Step Rejection 冻结推理模型,用同骨干LoRA适配器判断新生成的一段是否接受,拒绝则从原前缀重采样。训练以相对初始解题成功概率首次明显下降为负标签,并用同前缀排序和最终答案奖励优化。三模型五数学测试显示较好的准确率/生成token折中,但需离线标签与训练,并非模型无需监督自然自检。
有效性与结构新颖性抑制十轮退化;初始化仍用了外部强模型和人工核验
R-Quest 发现自生成数学题会逐渐变得无效或重复,而中等答案一致性筛选甚至偏向无效题。它先教解题器识别题目缺陷,再让有效性和冻结基础模型的题型比较共同约束出题奖励。Qwen3-4B的十轮实验避免R-Zero式退化,但并非无外部知识、无限自我提升或每个测试都更好。
忠实性与可监督性不是同一个指标,输出不稳定也会拉低解释分数
研究在三种4B–8B推理模型上比较固定截断、指定长度和组内长度奖励。多数设置降低推理链对模型行为的可预测性,但对迎合用户线索的检测大体保留;严重压缩时,医学问题中的偏置影响更容易被隐藏。结果反对把“更短”与“更不可信”直接画等号。
在线路由、独立阈值与随机审计共同作用;保证针对有条件的累计误差
OMVV维护多个弱验证器,每轮只调用一个,再决定接受、拒绝或交给昂贵oracle。它利用候选答案之间的一致性校正分数,并从抽样获得的oracle反馈更新阈值和路由权重。论文把核验成本与错误控制结合,但真实成本、可靠真值和冷启动仍是落地关键。
训练便宜但能力有取舍;纯文本路线不能完全替代原生感知训练
研究发现单跳感知正确并不保证多跳音视频推理正确,用局部梯度投影分析两目标的部分可分性。文本SFT与GRPO能增强Omni模型推理,但会损伤感知;最终加入减少数据量的音视频GRPO恢复感知。最强文本数据来自视频脚本,另有完全由文本LLM合成的独立实验,不能混为一条无多模态数据路线。
非破坏性记忆的价值明确,但附录揭示截断、时间泄漏与评测口径限制
Mem++将每份文档连同时间和作者完整保存,查询时先按目标日期过滤,再融合词法、向量与标签检索,把带出处的原文交给回答模型。它减少写入摘要造成的证据损失,但保存完整不等于检索或上下文完整;组织基准的截断使部分宣称机制实际未到达回答模型。
一次残差向量干预能改选事实,但并非通用长文检索定律
研究比较模型面对同一事实列表、切换提问对象时的最后提示token状态差异。跨上下文平均得到的序数向量,可把模型从第一个事实引向第二个事实,即使名字、内容和关系改变。控制实验区分事实顺序、名字顺序与token距离,提出中间层“事实地址”假说。
记住为什么改、何时适用,并允许选择器跳过记忆
失败后,CounterMem在同一状态的副本中检验局部替代动作,保存原动作、修正、检验证据和适用条件。之后由小型DQN决定用一条记忆还是跳过,基础LLM不更新。这里的世界模型是测试、证明检查器或求解器;经源任务验证的经验依然可能害了新任务。
该期没有收录这个领域的人物动态。