[Paper] 通过结构化知识发现方法提升语言模型生成的可解释性

Source: arXiv - 2511.23335v1

概览

本文解决了现代语言模型长期存在的一个痛点：它们能够生成流畅的文本，但我们很少知道它们为何选择了这些词。通过引入一种同时处理高层实体和低层知识三元组的“结构化知识猎手”，作者在保持输出高质量的同时，使生成过程透明化。该方法在表格到文本和对话两类任务上均有效，展示了它可以成为可解释、知识增强生成的通用解决方案。

关键贡献

• 任务无关的结构化知识猎手，能够在不依赖领域特定检索器的情况下发现相关实体和三元组。
• 局部‑全局交互机制，用于学习层次化知识（实体 ↔ 三元组）的鲁棒表示。
• 层次化 Transformer‑基指针网络，在生成过程中选择最相关的知识片段。
• 统一框架，将知识猎手与任意预训练语言模型耦合，提升忠实度和可解释性。
• 在两个基准上取得最新水平（RotoWireFG 表格到文本，KdConv 对话），超越现有方法和底层语言模型。

方法论

1. 结构化知识表示

   • 知识被组织为两层：
     • 实体（例如 “LeBron James”）——高层概念。
     • 三元组（例如 “(LeBron James, scored, 30 points)”）——低层事实陈述。
   • 局部 编码器捕获每个三元组的语义，而 全局 编码器聚合同一实体下所有三元组的信息。

2. 局部‑全局交互

   • 模型在局部和全局编码器之间迭代交换信号，使每个三元组能够感知其所属实体的上下文，反之亦然。这样得到的嵌入更丰富、具备上下文感知能力。

3. 层次化指针网络

   • 基于 Transformer 主干，指针网络首先决定 引用哪个实体，随后决定 在该实体下选择哪个三元组。
   • 选中的知识片段作为额外的条件 token 输入下游语言模型（如 GPT‑2/3），引导生成。

4. 训练与推理

   • 使用交叉熵损失对指针选择和最终文本生成进行监督学习。
   • 推理时，模型不仅输出生成的句子，还输出 实体/三元组的追踪记录，清晰说明每个 token 的事实来源。

结果与发现

• 可解释性：人工评估者能够跟随生成的知识追踪，正确识别 >90 % 内容的事实来源，较不透明的基线有显著提升。
• 泛化能力：相同的猎手架构在两个数据集上均未进行任务特定调优，即可直接使用，验证了其任务无关性。

实际意义

• 可调试的 AI 助手——开发者可以展示聊天机器人使用的具体知识三元组，便于合规审计和错误分析。
• 事实核查流水线——显式的知识追踪可直接喂入下游验证工具，降低生成报告或摘要中出现幻觉的风险。
• 即插即用的增强——由于猎手位于任何预训练 LM 之上，团队只需少量代码改动即可从普通模型升级到可解释版本。
• 领域无关的数据丰富——组织可以将自己的知识图谱（产品目录、医学本体等）输入猎手，立即获得透明生成，无需构建专属检索器。

局限性与未来工作

• 知识覆盖度：方法假设所需事实已存在于结构化图谱中；缺失的三元组会导致信息空缺，模型无法自行补全。
• 可扩展性：在极大规模知识库上进行指针选择会带来计算负担，作者建议采用层次化剪枝作为后续改进方向。
• 评估广度：实验仅限于两个基准，若在开放域 QA 或长文生成上进行更广泛测试，将更有说服力。
• 用户研究：可解释性目前通过专家标注者评估，真实场景下的用户研究（如客服环境）仍待后续工作。

总体而言，本文提供了一套令人信服的蓝图，使语言模型的生成既 忠实 又 可解释，这正是众多生产团队迫切需求的组合。

作者

• Shuqi Liu
• Han Wu
• Guanzhi Deng
• Jianshu Chen
• Xiaoyang Wang
• Linqi Song

论文信息

• arXiv ID: 2511.23335v1
• 分类: cs.CL, cs.AI
• 发表时间: 2025 年 11 月 28 日
• PDF: Download PDF