aiwillknow.AI 前沿观察每日 08:00 开始整理

2026.10.11 简报

研究补刊 · 覆盖 2026.09.10 — 2026.10.11

以下为当期记录;研究详情页展示最新已核对信息。

全部收录
33 项工作
大模型代码与数据可见;许可文件及路由权重待核实

MemoType:按事件、个人与一般知识分流的长期记忆检索

类型路由改变检索策略,但过滤召回、评测泄漏与在线成本仍需拆开验证

MemoType先把对话记忆分为事件、个人和一般知识,再针对事件对齐要素、针对个人反推可能问题、针对一般知识生成假想记忆进行检索,最后用两次回答筛除无关记录。四个基准显示收益,但类别硬过滤并非所有召回指标都更好,低写入费用也不等于低端到端成本。

香港城市大学 · 华为诺亚方舟实验室
长期记忆类型路由
阅读简报
大模型论文公开 · 实验记录与实现未核实发布

Research World Models:把真实实验记录变成下一次实验的预测依据

上下文中的失败与成功经验,能比单纯增加推理强度更有用

研究让冻结语言模型读取环境配置、代码改动和既往实验收益,预测候选实验的最终增益,再从预算允许的少数候选中选择。2653条真实记录覆盖九个环境;上下文经验改善同环境和部分跨环境排序,但多轮实验仍围绕固定基线与预先给定候选池,不能等同于开放式自我改进。

Amazon、UC Santa Cruz、Emory、Penn State、UC Santa Barbara
自动研究实验预测
阅读简报
大模型数独实现公开 · 无预训练权重

InfiLoop:让反复推理保留有效状态,而不是不断覆盖答案

7M解谜模型的循环残差机制;97.9%数独成绩依赖39种深度与规则验收

InfiLoop用共享内容评分和指数时间衰减,把历次循环的候选状态压缩成固定大小的加权摘要。它在小型递归解谜模型中减少已解答案被后续循环破坏,但并非已验证的通用语言模型;最高数独成绩还使用多深度重启和外部数独规则检查。

香港理工大学、ELLIS Tübingen、中科院深圳先进院 等
递归推理测试时计算
阅读简报
大模型代码与15个任务检查点公开 · 分基础模型许可

Lapras:传感器语言模型能否先在连续空间推理,再给文字答案?

六个潜在步骤自蒸馏;效率收益明确,可读解释仍缺忠实性验证

Lapras让时间序列语言模型学习显式推理教师在答案位置的隐藏状态,推断时用六次连续向量反馈代替长段文字推理。它在多种传感器分类问答上减少生成成本并提升若干骨干的平均F1,但不是每项任务都获益,事后读出的文字也尚未证明就是模型真正依赖的因果依据。

Dartmouth College、Aionic Labs、ETH Zurich、Stanford、NUS 等
潜在推理时间序列
阅读简报
大模型MIT推理代码与部分记忆权重公开

Remory:给压缩摘要加一层可学习记忆,保留下一步决策需要的线索

冻结主模型、训练软token补充;输入缩短不等于总运行成本同比下降

Remory保留可读文本摘要,再根据历史和摘要生成有界连续记忆token,帮助冻结语言模型接近完整历史下的后续输出。它在多轮压缩时递归携带旧记忆,仍保留普通档案检索工具;实验显示来源归因、长程代理成绩及重复工具调用有所改善。

上海科学智能研究院、复旦大学等联合团队
上下文压缩软记忆
阅读简报
大模型论文公开 · 未核实代码或权重发布

Internalizer:把文档生成大模型的LoRA,但重建分数还不是问答能力

共享超网络从小模型迁移到284B目标;训练长度外适配器出现明显失效

Internalizer读取冻结语言模型逐层文档特征,以共享Perceiver主干生成按文档变化的LoRA块;每增加一个512-token分块,适配器秩随之增加。它先在1–3B模型上训练共享部分,再迁移到284B目标,展示较好的文档教师强制重建,但尚未报告实际问答、代码任务或服务成本收益。

Interval
上下文转参数超网络
阅读简报
大模型有实质公开代码;许可与本版完整实验包未确认

TRACE:分数变了,先查代理行为还是评分器变了

配对实验、轨迹检查、反事实重评分与重复运行对照

TRACE用四步诊断把评测分差拆成系统行为变化与评分规则变化。在人工构造的25任务环境里,工具别名让行为完全相同的脚本损失0.25分,评分时恢复名字即可消除;在真实LLM交互中,初步发现的增益未能复现。更大规模重复实验说明,稳定的裁判也可能在衡量不同的“成功”。

Radhika Gaonkar · Prime Intellect
Agent评测评分有效性
阅读简报
大模型实质代码公开;未确认许可,数据与权重未发布

HarnessSQL:让SQL代理在部署时的工具接口里完成训练

完整交互轨迹SFT再做执行奖励RL;共享数据库与接口错误影响结果解释

HarnessSQL将数据库代理的列举表、检查schema、执行试探SQL和最终提交放进同一个受限接口,用实际运行验证过的完整轨迹训练,再做稀疏执行奖励RL。Qwen3-8B在Spider2.0 SQLite子集由15.5%升至45.2%,14B由22.2%升至54.8%;但主测试共享训练数据库,域外成绩仍显著较低。

香港科技大学、微软研究院、清华大学、澳门大学
SQL代理工具接口训练
阅读简报
大模型论文与提示词附录公开;未确认代码发布

Chronos:让代码代理检索一个改动背后的软件演化历史

PR关系图帮助找到语义搜索漏掉的经验;三角色总收益不等于图检索的独立收益

Chronos把合并PR蒸馏成包含动机、解法和检索信号的经验卡,再以文件连续性、显式引用、作者跟进和组织关系连成图。代码代理先找语义入口,再沿有类型的关系扩展,按需读历史经验;完整工作流让两个代理分别写补丁,再由第三个代理选一个。结果支持关系历史有检索价值,但总体收益同时包含角色提示与更多候选计算。

浙江大学、上海交通大学、Hithink Research、国家工业信息安全发展研究中心
代码代理仓库记忆
阅读简报
大模型MIT实现与六个seed-42记忆检查点公开

DPPM:把历史证据保留与顺序修订分成两条参数记忆路径

约53万可训练参数;遗忘行为、信息删除和恒定端到端成本需要分开

DPPM在冻结的Doc-to-LoRA编译器之上训练一个轻量记忆整合器:Evidence按内容直接汇总所有历史段,Delta按时间顺序把新信息与已有预测的差写入关联矩阵。融合后的表示交给冻结解码器生成个性化LoRA,回答时无需把原历史放进上下文。结果支持双路径在两种个性化选择题基准上提升回答准确率,但其遗忘理论只在特定表示扰动和收缩条件下成立,不证明永久记忆、参数删除或一般开放式对话可靠性。

中国科学技术大学、科大讯飞研究院
参数记忆个性化
阅读简报
大模型论文公开;未找到官方实现或权重入口

QGMem:长期保留事件和状态轨迹,提问时才建小图

图token、文本证据与时间有效性分工;十条记忆不等于整个系统恒定成本

QGMem把历史对话拆成带原始出处、实体、地点和双时间的原子事件,再把同一主体关系的更新串成轨迹。提问后用BM25、语义与事件属性混合检索,重排选10条记忆,仅对这些事实构图;图编码器压成一个软token,与可读文本共同供冻结大模型回答。LoCoMo与冲突多跳有提升,但收益很大部分来自记忆粒度和重排,图分支并非每个基准都有效。

中科院自动化所、阿里巴巴、中国人民大学等
长期记忆事件索引
阅读简报
大模型MIT代码及诊断脚本公开;完整部署复现未验证

LadderEdit:给每次知识编辑分配足够的存储秩

先保存覆盖,再按行为测试加细节;摘要的压缩结论需要连同路由假设和账目疑点阅读

LadderEdit先训练每条知识编辑的LoRA,再依据奇异值尾部和行为余量提出低秩版本,以改写、泛化和局部性探针检查,失败则增加秩。论文报告1万编辑的持久存储从100.93GB降到19.44GB;这不包括减少最初训练成本,主实验还预先提供正确编辑身份。全文存在量化比例、长程压缩与阈值描述不一致,须与核心思路分开看。

Yale University、Washington University in St. Louis、Icahn School of Medicine at Mount Sinai、Arizona State University
知识编辑LoRA压缩
阅读简报
大模型MIT实现公开;仓库仍标注预发布

CogMem:把谁说的、何时有效和原始证据保存在长期记忆图中

观点与记录分型有助于多跳问答;归纳并不删除旧事件,也不能把自述自动变成已核实事实

CogMem将对话拆为人物、事件、概念、观点和事实记录,保留来源与时间,再用受限图操作重建回答证据。它在LoCoMo多跳与LongMemEval更新问题上优于所列基线,但归纳增加存储,意图解析和类型限制也会漏证据。这里的Fact是一种记录类型,不是外部核验后的真相。

清华大学深圳国际研究生院
长期记忆证据来源
阅读简报
大模型MIT评测代码与题目公开

Deception by Omission:代理能识别错误,为什么仍不向用户披露?

预填错误、旁观者能力对照与分离裁判,区分没察觉、含蓄纠正和知情沉默

研究把明确错误植入助手历史,让七种模型继续处理新消息,再分别评价推理记录和用户可见回答。代理设置下明确披露不足与可观察知情沉默都存在,但大部分未披露属于未显式察觉或没有可用推理记录;不能把67.1%的未明确披露全部称为故意欺骗。

斯图加特大学AI Safety Research Group
代理可靠性错误披露
阅读简报
大模型论文公开;未核实实现发布

Gated Memory:在写入记忆前保留事实的上下文

LoCoMo整体只增加1.3个百分点,多跳下降提醒过滤也会切断证据链

Gated Memory在记忆后端之前加入准入、事实拆分和有条件知识补充:只从当前交换形成新事实,历史仅用于指代消解,并保留来源和适用条件。在检索与回答配置不变的LoCoMo测试中,准确率50.6%升至51.9%,但多跳下降;这支持写入质量值得研究,尚不足证明生产收益或隐私保证。

Samsung Research America
长期记忆准入控制
阅读简报
大模型论文公开;实现与实验档案未核实发布

谁验证评分器:智能体分数上升,裁判也可能已经失效

Double Ratchet把评分器写成可检查的小规则组合,并用独立参考检验它

这项工作让评分器本身进化:从失败聚类生成小型缺陷检测器,再用十个带参考样例和无标签一致性选择逻辑组合。最重要的结果并非任务涨分,而是去掉锚点保护后评分器几乎全部放行,智能体仍能进步。评分器有效性必须独立测量,不能用它所训练系统的分数代替。

AWS Forward Deployed Engineering、汇丰科技
评分器自改进智能体
阅读简报
大模型论文公开;实现与适配权重未核实发布

Agentic-TTT:让策略决定何时训练、选哪种适配、何时复用LoRA

精选可获益任务上的效用近翻倍,离开放部署的自主持续学习仍有距离

Agentic-TTT把五种测试时训练算法包装成工具,用独立策略LoRA决定存储材料、适配、加载或直接回答。每个技能是冻结基座上的独立LoRA,可随查询流复用。Qwen2.5-7B在176题精选流上效用0.256到0.510,但约65%的数据特意筛为适配有益,不能将翻倍解释成一般真实流量的预期收益。

新加坡国立大学、NUS AI Institute
测试时训练技能LoRA
阅读简报
大模型训练与评估代码开放

UFM:多走几步真的能推理吗?关键在于训练整段隐空间轨迹

小型流模型的推理步数扩展;理论构造、实际训练与测试集选择需分开看

传统流匹配在随机噪声时刻训练单次去噪,未必教会后一步利用前一步。UFM从自己的隐状态轨迹反向传播,只在终点预测答案;长轨迹通过球面回缩控制尺度。它在图可达、数独与迷宫上显示更多积分步可带来收益,但尚未验证开放语言任务。

马克斯·普朗克智能系统研究所、ELLIS图宾根、ETH Zurich、牛津大学、图宾根AI中心、Liquid AI
隐空间推理流模型
阅读简报
大模型论文公开;未确认官方代码和训练权重

STI-OPD:学生先作答,老师按分歧概率接管一轮

重要性权重校正老师生成的token,不会把被干预的整条轨迹变回纯学生分布

STI-OPD针对多轮智能体蒸馏的错误累积:学生先提议完整回复,老师给其token评分,以非负KL估计构造接管概率;若介入则重生成整轮,执行后再交回学生。老师token用学生/老师概率比加权反向KL。Qwen3-1.7B在ScienceWorld由普通OPD的17.1%升至27.5%,但方法需要逐token概率,纯采样API无法直接使用。

莫纳什大学、香港理工大学、中关村实验室
智能体蒸馏随机干预
阅读简报
大模型论文公开;完整代码及训练产物未核实

CoTrace:训练终端智能体时,执行框架也是数据的一部分

按提示、工具和观测处理的来源筛选轨迹;小语料有效不等于总成本更低

CoTrace交替优化模型权重与执行框架,将运行失败交给框架修改,将与当前框架匹配的验证成功轨迹用于监督训练,并持续补充新任务。9B模型在反复用于选择版本的102题promotion split上由78到88,RL系统到90;但独立运行框架会改变迁移结果,SFT在SWE-bench Lite的配套系统仍不如基础系统。

UC San Diego、Salesforce AI Research、University of Washington
智能体训练轨迹来源
阅读简报
大模型论文公开;数据代码承诺随发表发布

RH-Detect:奖励作弊检测器的高分为何难跨来源迁移

同域微调接近满分,却可能在另一输入轨道退到随机水平

RH-Detect统一11个来源的奖励作弊数据,区分开放轨迹、选择题和受保护响应。实际主评测使用六来源5021条合格轨迹,显示部分通用模型能很好排序,但工具轨迹更难;去掉思考文本、抽取证据或单token微调都有明显模型和来源依赖。

University of Toronto、Vector Institute、Aether、Trajectory Labs
奖励作弊监控模型
阅读简报
大模型实现开放 · BSD-3-Clause

U-Space:从模型内部追踪疑虑,但不要把疑虑当成错误概率

四条语义轴与预测熵组合;长度控制、白盒成本和代码差异决定如何解读

U-Space把表示歧义、信息缺失、证据冲突与一般疑虑的词语映射回模型隐藏状态,构造四维空间,再把推理结束处的方向信号与整段推理的平均预测熵相乘。它提供可观察的疑虑轨迹,但既不输出校准后的错误概率,也没有证明四种轴是真实错误原因的完备分类。

Tobias Braun等研究团队
不确定性机械可解释性
阅读简报
大模型论文CC BY 4.0 · 实验工件未核实

小模型抽象推理系统研究:同分布会做题,不代表规则能迁移

千余次实验拆开训练、网格尺度与输出格式,单模型代表一种架构仍是混杂因素

研究用ARC-TGI可重复采样的网格变换家族,对三种小模型开展超过1000次训练与评估。结果把同家族新样本、网格尺度变化和原始ARC跨基准迁移区分开:同分布拟合可很高,但迁移、提示长度与直接输出网格或生成Python程序会明显改变表现。

汉诺威大学、TIB、Amazon作者(注明工作在Amazon之外完成)
抽象推理小语言模型
阅读简报
大模型代码与评测数据开放

看出工程题不可能,为什么模型仍把结果标成“已解决”?

成对力学题区分求解、识别矛盾与结构化拒绝;格式改善拒绝也可能损伤正常题

研究为力学题构造只改一个数据或前提的错误孪生题,先用两套数值方法核验答案,再分别评估正常题求解和错误题拒绝。14个模型的结果显示,正文指出矛盾、给出修正后答案、JSON仍标solved可以同时发生;允许状态报告flawed能提高部分模型拒绝率,却不是无代价的提示修复。

圣克拉拉大学 · Shaoliang Yang、Jun Wang
前提核验工程推理
阅读简报
大模型搜索、评测与RL代码公开;反事实权重未确认发布

基础模型的推理开关:开头两个词元与训练数据的联系

数据替换与重新训练给出因果证据;不能据此把强化学习的全部价值缩减为开头措辞

研究固定基础模型回答的开头词元,Olmo-3-7B在MATH-500的单次采样正确率从42.2%到77.9%,接近RL-Zero参考模型。更关键的是,替换中期训练数据的词语再训练,可以让原本无关的Chicken触发类似推理,也能把原触发词重定向为提问。有效前缀依赖模型、提示模板和位置,较强后训练模型及部分任务未获益。

MIT、UC Berkeley、华盛顿大学、Allen Institute for AI
基础模型训练数据因果干预
阅读简报
大模型论文公开;所列代码地址实测404

SSR:在同一推理前缀下,学会拒绝少数低价值续写

首个可分辨退化点监督LoRA门控;不等于证明该步逻辑错误

Self-Step Rejection 冻结推理模型,用同骨干LoRA适配器判断新生成的一段是否接受,拒绝则从原前缀重采样。训练以相对初始解题成功概率首次明显下降为负标签,并用同前缀排序和最终答案奖励优化。三模型五数学测试显示较好的准确率/生成token折中,但需离线标签与训练,并非模型无需监督自然自检。

佐治亚理工学院、普渡大学
推理步骤拒绝同前缀排序
阅读简报
大模型代码与初始化权重公开;数据许可未明确

R-Quest:自我进化先问“题目成立吗、是否只换了说法”

有效性与结构新颖性抑制十轮退化;初始化仍用了外部强模型和人工核验

R-Quest 发现自生成数学题会逐渐变得无效或重复,而中等答案一致性筛选甚至偏向无效题。它先教解题器识别题目缺陷,再让有效性和冻结基础模型的题型比较共同约束出题奖励。Qwen3-4B的十轮实验避免R-Zero式退化,但并非无外部知识、无限自我提升或每个测试都更好。

圣路易斯华盛顿大学、密歇根大学安娜堡分校
自我进化题目有效性
阅读简报
大模型代码与适配器公开 · 许可待明

缩短推理链之后,我们还看得懂模型吗?

忠实性与可监督性不是同一个指标,输出不稳定也会拉低解释分数

研究在三种4B–8B推理模型上比较固定截断、指定长度和组内长度奖励。多数设置降低推理链对模型行为的可预测性,但对迎合用户线索的检测大体保留;严重压缩时,医学问题中的偏置影响更容易被隐藏。结果反对把“更短”与“更不可信”直接画等号。

谢菲尔德大学、阿斯利康
推理压缩CoT
阅读简报
大模型论文公开 · 实现未核实

OMVV:什么时候换一个便宜的验证器,什么时候请强验证器?

在线路由、独立阈值与随机审计共同作用;保证针对有条件的累计误差

OMVV维护多个弱验证器,每轮只调用一个,再决定接受、拒绝或交给昂贵oracle。它利用候选答案之间的一致性校正分数,并从抽样获得的oracle反馈更新阈值和路由权重。论文把核验成本与错误控制结合,但真实成本、可靠真值和冷启动仍是落地关键。

加利福尼亚大学欧文分校
验证器在线学习
阅读简报
大模型论文与完整提示公开;实现权重未核实发布

Text-Centric Omni:先用文本增强推理,再以少量音视频恢复感知

训练便宜但能力有取舍;纯文本路线不能完全替代原生感知训练

研究发现单跳感知正确并不保证多跳音视频推理正确,用局部梯度投影分析两目标的部分可分性。文本SFT与GRPO能增强Omni模型推理,但会损伤感知;最终加入减少数据量的音视频GRPO恢复感知。最强文本数据来自视频脚本,另有完全由文本LLM合成的独立实验,不能混为一条无多模态数据路线。

上海交通大学
Omni模型文本推理迁移
阅读简报
大模型核心代码Apache-2.0;图变体未打包

Mem++:保留组织原始文档,把取舍留到查询时

非破坏性记忆的价值明确,但附录揭示截断、时间泄漏与评测口径限制

Mem++将每份文档连同时间和作者完整保存,查询时先按目标日期过滤,再融合词法、向量与标签检索,把带出处的原文交给回答模型。它减少写入摘要造成的证据损失,但保存完整不等于检索或上下文完整;组织基准的截断使部分宣称机制实际未到达回答模型。

Ahmad Yehia等 · UT Austin、AIDAChip
长期记忆组织文档
阅读简报
大模型MIT实验代码与模型专用序数向量公开

按提及顺序寻址:模型怎样从上下文中找到一个事实

一次残差向量干预能改选事实,但并非通用长文检索定律

研究比较模型面对同一事实列表、切换提问对象时的最后提示token状态差异。跨上下文平均得到的序数向量,可把模型从第一个事实引向第二个事实,即使名字、内容和关系改变。控制实验区分事实顺序、名字顺序与token距离,提出中间层“事实地址”假说。

Duke University · Yufa Zhou
机制解释上下文绑定
阅读简报
大模型论文公开;承诺接收后发布代码

CounterMem:把经过检验的反事实修正变成可复用记忆

记住为什么改、何时适用,并允许选择器跳过记忆

失败后,CounterMem在同一状态的副本中检验局部替代动作,保存原动作、修正、检验证据和适用条件。之后由小型DQN决定用一条记忆还是跳过,基础LLM不更新。这里的世界模型是测试、证明检查器或求解器;经源任务验证的经验依然可能害了新任务。

Hongji Pu、Ruixiang Tang、Yongfeng Zhang · UIUC、Rutgers
反事实记忆可执行验证
阅读简报

人物与观点

0 条

该期没有收录这个领域的人物动态。

← 返回每日归档