ValueMap：训练模型更重视一种价值，会顺带改变哪些行为？

图1如何从单价值微调得到泛化矩阵，又如何防止相似度被误当因果保证？

1. 1

   先建立真实训练迁移矩阵

   图1上排对66价值逐项生成5000条SFT数据；DPO从公共偏好中用最小费用流分配49组互不重叠的4000对，先做19748条“价值中性”SFT。用11188个冲突场景评估，改善除以剩余上升空间、退化除以原分数，得到[-1,1]分段迁移量。

2. 2

   从正反行为差异提取表示

   Persona取同一价值正反回答的平均残差激活差；Gradient取偏好损失对激活的梯度方向。小模型在独立激发问题上选层，大模型按相对深度固定；表示不直接偷看对应微调训练对。

3. 3

   用非对角秩相关检验，而非只画聚类图

   图1下左把相似度与49×66矩阵的非对角元素比较。描述嵌入、行为文本、权重差都作基线；方向性矩阵的对称化相关约0.89只是对称预测器的参照上限。

4. 4

   检验目标鲁棒性并建立分类

   64组六价值目标各用12000对DPO，300个冲突场景先直接回答再插入反目标prefill。平均pairwise相似度预测归一鲁棒性；ValueMap再以k-medoids将266价值分四类，类别不是人类价值的普适真理。

已阅读v1完整正文及其公开附录、核对作者实验与必要原图；未独立复现实验。

官方MIT仓库含训练与预测源码、测试、泛化矩阵和论文复算脚本；外部模型、数据需分别下载，本次未执行重训或复算。

LICENSE论文及图1 CC BY 4.0；本仓库代码MIT；基础模型及外部数据保留各自许可。