Novelty Patching:把字节级计算用在新内容开始处
高熵字节未必需要推理;重复结构能否告诉模型在哪里启动全局计算?
针对字节模型在紧张 patch 预算下跳过计算结果的问题,用前两个字节查表预测后续内容的新颖程度,在预计不再重复近期上下文的位置启动全局模型。小规模数学续写实验有明显收益,代码域与完整解题尚不能据此推广。
Nicolás Vera Zúñiga · 独立研究者阅读简报
每日研究 · 覆盖 2026.10.08 — 2026.10.19
以下为当期记录;研究详情页展示最新已核对信息。
高熵字节未必需要推理;重复结构能否告诉模型在哪里启动全局计算?
针对字节模型在紧张 patch 预算下跳过计算结果的问题,用前两个字节查表预测后续内容的新颖程度,在预计不再重复近期上下文的位置启动全局模型。小规模数学续写实验有明显收益,代码域与完整解题尚不能据此推广。
答得出旧事实,与学会建立在旧事实上的新关系,是同一回事吗?
将预训练关系的答案随机换成动物名,再微调部分实体并测试未见实体。跨11个模型、70种关系,微调前线性探针的可读性比直接事实召回更能预测迁移;研究揭示了“记得”与“可利用”之间的区别。
记忆库中事实是否正确,应怎样与最后一次回答是否正确分开检查?
用30条随时间演化的事实轨迹逐状态检查记忆库,再独立评估最终问答。将检索、更新分类、事实合成、时序和来源归属拆开,展示两种评分可能相互偏离;内部指标也有裁判与阈值依赖。
该期没有收录这个领域的人物动态。