PoS SAE：词性信息分布在一组潜变量中

图1的探针、紧凑分组和独立验证分别回答什么问题？

1. 1

   对齐词与稀疏激活

   图左将14,353句、252,284个词的GUM树库与Llama-3-8B对齐，取最左子词激活作为词锚点，而非对整个词池化。主实验用第30层、32倍扩展的131,072维SAE；这种对齐选择会影响多子词词形的解释。

2. 2

   用监督探针寻找相关潜变量

   图中对17种词性分别训练带L1正则的逻辑回归，训练集五折交叉验证，C=0.1并平衡类别。按正系数排序，是找到对词性预测有用的维度，不是自动发现互不重叠的自然语法模块。

3. 3

   按激活覆盖压缩词性组

   每类取最小集合，使95%的该类金标准词至少激活其中一个特征。所有组并集为498维，约12%特征被两类以上共享。覆盖只保证“碰到”，并不惩罚其他词性也激活这些特征，所以不是95%分类正确率。

4. 4

   用留出数据和受控词形检验

   图右在留出集评多类分类，并用180个词项及模板控制词性与词形。前置“1.”后首位置效应随位置移动，说明激活还编码句子位置等因素。跨第2、15、30层分析支持结构稳定性，但没有通过特征干预验证模型是否因果使用这些组。

以下为作者报告；已阅读 v1 全文及可用附录，本站未独立执行研究实验。实验条件与编辑解读分别列出。

官方仓库已有激活提取、探针、覆盖和控制分析实现；HF数据目录有train/test parquet但需人工审批访问，本站未下载受限数据。

LICENSE实现根LICENSE为MIT；Llama模型与GUM数据沿用各自上游条款，不能用MIT覆盖；论文原图许可见图注。