XConf：用过去答错的记录校准今天的自信

图 1 如何避免把当前答案的评分提前泄露给置信度估计？

1. 1

   先回答和反思，再取得评分

   当前任务产生答案、反思和初始置信度，此时不知道真值；外部评分之后才能补写教训并进入经验库。评分后的教训不用于当前任务的检索键，保持回答前后信息的边界。

2. 2

   Recall 按相似经历计算命中率

   最小键由任务嵌入与初始置信度组成；完整实现另含反思嵌入和长度。每折仅在训练数据拟合 PCA 与逻辑探针，以探针绝对权重缩放特征，再做余弦检索，取 50 个邻居并按置信度差异加权。LLM 不微调不代表没有标签监督。

3. 3

   Reflect 阅读具体失败案例

   向模型展示最近邻经验卡、评分和事后教训，要求先识别反复出现的失败模式，再重估当前答案的置信度。冻结提示使用八张卡，不能把检索的 50 个邻居都理解为进入提示；最终与 Recall 等权平均。

4. 4

   把排序能力与校准误差分开

   AUROC 衡量对错排序，ECE 衡量置信度与频率的一致性；将所有分数压到平均正确率就可能降低 ECE，却破坏排序。因此报告同时检查 AUROC、风险覆盖和 Brier，弃答后的准确率还须配合覆盖率。

5. 5

   区分离线折分与真实时间流

   主实验随机五折，保证当前题不进自己的库，但不是严格时间先后。附录 H 另按 LiveCodeBench 比赛月份做只用过去的滚动实验。经验可以逐步积累；模型升级后自身错误模式漂移，旧记录需要重新验证。

以下为作者报告；已阅读 v1 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

已读完整正文及附录 A–N；未在论文中确认本研究的正式实现或经验库下载入口。上游模型及嵌入服务不是 XConf 开源制品。

LICENSE实现、经验数据及服务条款分别待核实。