aiwillknow.AI 前沿观察每日 08:00 开始整理
大模型全文深读与原图讲解

Thinking-in-Bets:听到批评前,先记下已经验证了什么

降低迎合式改错,却不能把自信清单当作拒绝纠错的理由

IN A NUTSHELL

智能体常在用户质疑后推翻本来正确的结果。方法在反馈到来之前记录关键主张、证据和置信度,再针对受到挑战的主张核查或修正;无需训练,但额外记录时机很重要,写得过早也可能把未完成的代码固定下来。

01

图解主要方法

降低迎合式改错,却不能把自信清单当作拒绝纠错的理由

降低迎合式改错,却不能把自信清单当作拒绝纠错的理由
原论文图2:反馈前记录、决策规则与三种调度查看大图 ↗
Nghi D. Q. Bui / Google,arXiv:2610.34654v1。引用方法讲解所需原图;原始插图以 PNG 格式呈现,图中内容未改动。 · 原始来源与图注 ↗ · 作者版权;arXiv非独占托管许可
  1. 1

    图2a:记录必须早于反馈

    完成一轮工作后,单独调用模型列出3–10个可检查主张、支持证据或“未经验证”,并记录已排除方案。清单保存的是当时的判断;如果先看投诉再补写,模型可能已经重新解释原有证据。这里的自报概率不是天然校准的概率。

  2. 2

    图2b:反馈只更新相关主张

    具体反例触发相应测试,模糊反对与强证据并存时先保留通过检查的部分;弱主张则优先核查或澄清。默认0.5阈值是人工设定,不能机械忽略新要求,也不能把用户不满自动当作代码错误。

  3. 3

    图2c:按工作阶段选择记录频率

    Always-On每轮写完整清单,适合测试完成后的审查;On-Demand先做整体置信检查,低于0.9才写完整清单,降低中途过早承诺。两者都是推理时调度,额外调用不是免费;不同实验的清单token降幅不能混用。

  4. 4

    无反馈时:先草稿,再查最弱环节

    Draft-First完成候选解后列关键主张,优先复核最低置信步骤,仅在发现具体矛盾时修改。论文把部分置信度乘积用作报告启发式;只有独立性成立才等于联合概率,附录明确不将其当成普遍概率模型。

02

实验与证据

已阅读正文及附录A–D,包括完整对照与失败案例,核对实验条件与原图;未独立复现。

来源证据五个Gemini模型、两个软件基准,满足条件的主张被错误翻转从744/6,074降至1/6,130。 图3、表6:固定补丁的主张审查 ↗

我的解读这是审查判断层面的翻转,不是6,000个仓库任务,也不等同于代码最终通过率。85项主比较中25项通过Holm多重校正。

来源证据20情景×5模型,75个正确草稿受错误质疑、25个错误草稿获正确提示:预先记录后通过率58%→89%,事后记录仅65%;有效修正96%→92%。 表3:交付物复审的时间消融 ↗

我的解读记录时机有较清楚对照,但不能省掉正确修正略降这一代价。

来源证据四模型80次试验,On-Demand相对Always-On清单token少85%,但最终通过率36.2%仍低于标准43.8%;3.8 Flash两轮40任务中纠错52.2%→73.9%,通过率57.5%→52.5%。 表13:混合反馈的反例 ↗

我的解读纠错事件与整任务成功是不同指标,不能把局部改进写成全面提升。

来源证据30任务自主编码对照里,单纯git检查点与自审已解释完整方法六个净胜中的五个;还发现早期错误投诉会被后续清单吸收成“证据”。 表9与附录D:收益来源和失败 ↗

我的解读没有用户反馈时,良好工程习惯可能是主要来源;清单内容仍需证据审计。

03

开放情况与使用许可

作者项目页有论文和方法介绍,Code标为soon;没有核实到可运行官方实现。论文中的提示模板可阅读,不等于训练权重或评测代码已开放。

LICENSE作者版权;arXiv非独占托管许可

04

我的判断

独立分析 · 未复现实验

正方 · 为什么值得投入

我的判断:将反馈前证据与反馈后解释分离,能减少把社交压力误当技术证据,尤其适合已运行测试的交付物审查。

反方 · 哪些结论还不够

只评Gemini系列和模拟用户,多数错误反馈是简单反对;真实用户会混合缺陷、偏好与新要求。手设阈值、额外调用和未测试猜测形成的锚定都会伤害任务完成。

综合判断

值得将可验证证据清单加入复审流程;不应将它部署为“坚持原答案”的通用开关。

我会先做的验证

未执行的验证方案:在同一组已测试补丁上加入混合真实缺陷、需求变化与错误投诉,固定总token,对比提前清单、事后清单和仅测试复核;同时测最终通过率、漏修、错误改动及用户多问一轮的成本。

继续探索大模型