[Paper] Self-attention 向量输出相似性揭示机器的注意方式

Source: arXiv - 2512.21956v1

概览

本文深入探讨了 Transformer 模型中自注意力的“黑箱”——具体而言是 BERT‑12——以揭示注意力头实际上是如何处理语言的。作者通过将原始注意力向量转换为相似度矩阵，展示了不同的注意力头会专门捕捉不同的语言线索（例如，词元重复、句子边界），且这种专门化会随层级逐层演化。研究结果为开发者提供了一种具体的方法来解释甚至利用注意力模式，以用于下游任务，如文本分段或词元级诊断。

关键贡献

• 基于向量的相似性分析： 引入了一个标量积相似性矩阵，该矩阵由每个自注意力头的输出向量计算得到，实现对 token 表征的定量比较。
• 头级语言专化： 证明了各个头部始终专注于不同的语言现象（句子分隔符、重复 token、上下文常见 token）。
• 层级相似性演化： 显示出从早期层的长程相似性向深层的短程、句内相似性明显转变。
• 以 token 为中心的聚类： 发现每个头倾向于围绕一个唯一的“锚点” token 构建高相似性对，从而在向量空间中形成 token‑特定的邻域。
• 分割的实用洞察： 观察到最终层的注意力图集中在句子分隔符 token 上，暗示一种轻量级、基于注意力的文本分割方法。

方法论

1. 模型选择： 作者使用预训练的 BERT‑Base（12 层）模型，提取每个自注意力头在大规模英文句子语料上的输出向量。
2. 相似度矩阵构建： 对于每个头和层，他们计算 token 向量之间的成对标量积（点积），得到一个 上下文相似度矩阵，用于量化两个 token 在该头空间中的表示相似程度。
3. 统计探测：
   • 分布分析： 为每层绘制相似度分数的直方图，以跟踪从远程关注到近程关注的转变。
   • Token 频率分析： 在每个头中识别最高相似对中出现最频繁的 token，揭示该头的“锚点” token。
   • 定性案例研究： 检查具体句子，以说明各头如何捕捉重复、常见上下文 token 和句子分隔符。
4. 可视化： 使用注意力图和相似度矩阵的热图来展示跨层和跨头出现的空间模式。

结果与发现

• 句子分隔符关注： 在最高（最终）层，注意力头对 [SEP] 标记分配高相似度分数，有效地标记句子边界。
• 头部专门化：
  • 某些头部突出重复词（例如 “the … the”），充当重复检测器。
  • 其他头部将经常一起出现的局部上下文词聚类（例如 “bank” 与 “account”）。
• 层次动态： 早期层表现出宽泛、长程的相似度峰值，暗示对输入的全局视角。随着层数加深，相似度在同一句内部变得尖锐集中，表明向细粒度、局部处理的转变。
• 独特锚点标记： 每个头部倾向于在其高相似度对中拥有一个最常出现的标记，形成一个围绕该标记的“邻域”，在不同输入之间保持稳定。
• 量化转变： 从第 1 层到第 12 层，高相似度标记对之间的平均距离下降约 30 %，验证了向更紧密、句子级别凝聚的迁移。

Practical Implications

• Lightweight sentence segmentation: 由于最终层的 heads 自然会关注 [SEP] 标记，开发者可以提取这些注意力分数来划分长文档，而无需训练单独的模型。
• Debugging & interpretability tools: 相似度矩阵提供了一种新的诊断视图——开发者可以精准定位负责特定语言模式（例如检测重复实体）的 head，并利用这些洞察对模型进行 fine‑tune 或 prune。
• Head‑pruning strategies: 了解某些 heads 专注于冗余或小众模式，可实现更智能的剪枝（例如，删除专注于罕见重复的 heads，以降低计算量而不影响核心性能）。
• Feature engineering for downstream tasks: token‑anchor 邻域可以被收集为额外特征，用于共指消解、关键词提取或特定领域实体链接等任务。
• Curriculum design for fine‑tuning: 在将 BERT 适配到新领域时，实践者可能会冻结捕获长程结构的早期层，只 fine‑tune 处理句子级细微差别的后期层，以匹配观察到的相似度转变。

限制与未来工作

• 模型范围： 本研究仅限于 BERT‑Base；尚不清楚相同的头级别专门化是否适用于更大的模型（例如 BERT‑Large、RoBERTa）或像 T5 这样的编码器‑解码器架构。
• 语言多样性： 实验仅在英文语料上进行；跨语言的注意力向量行为可能有所不同。
• 静态分析： 相似度矩阵是在冻结的预训练权重上计算的；研究这些模式在微调过程中的演变将有助于深化其实用相关性。
• 应用测试： 虽然论文提出了分段和调试的使用场景，但系统性的基准测试（例如分段准确率与专用模型的比较）仍留待未来工作。

结论： 通过将注意力向量转化为相似度景观，作者提供了一个可量化的视角来观察 Transformer “关注” 的方式。这为模型可解释性、效率工程以及任务特定的注意力动态利用开辟了新路径。

作者

• Tal Halevi
• Yarden Tzach
• Ronit D. Gross
• Shalom Rosner
• Ido Kanter

论文信息

• arXiv ID: 2512.21956v1
• 类别: cs.CL
• 发表时间: 2025年12月26日
• PDF: 下载 PDF