[Paper] 重新审视大型语言模型中的非逐字记忆：实体表面形式的作用

Source: arXiv - 2604.21882v1

概览

大型语言模型（LLM）因能够回忆事实信息而受到赞誉，但它们存储和检索这些知识的方式却出奇地脆弱。本文引入了 RedirectQA，一个新的基准，用于探测 LLM 是否真正理解实体的事实，还是仅仅记住了单一的“规范”名称。通过系统性地替换实体的表面形式——其别名、缩写、拼写错误等，作者揭示了 LLM 对问题表述方式的敏感程度。

关键贡献

• RedirectQA 数据集：基于 Wikipedia 重定向构建，将 Wikidata 三元组与丰富的表面形式词汇表（规范名称、别名、缩写、拼写变体、常见错误）相链接。
• 全面评估：在相同事实三元组的不同表面形式下，对 13 种主流大语言模型（包括 GPT‑3.5、LLaMA 和 PaLM）进行测试。
• 表面形式条件记忆分析：量化仅当实体名称变化时答案正确性的差异，揭示不同表面形式类别之间的系统性模式。
• 基于频率的洞察：展示实体在训练数据中的整体出现频率以及特定表面形式的出现频率均会影响准确率，其中实体频率常常提供额外的提升。
• 实用诊断框架：提供可复用的方法论，帮助开发者审计大语言模型的事实鲁棒性，超越逐字记忆的评估。

方法论

1. 数据构建

   • 从 Wikidata 中提取事实三元组（实体 → 关系 → 对象）。
   • 将每个实体映射到其 Wikipedia 页面，并收集所有重定向页面，这自然编码了替代表面形式。
   • 将每个表面形式分类为五类：规范名、别名、缩写、拼写变体和错误形式。

2. 提示设计

   • 对每个三元组，生成一个简短的 QA 提示（“[表面形式] 的首都是什么？”），其中唯一变量是表面形式。
   • 保持提示的其余部分完全相同，以隔离名称变化的影响。

3. 模型评估

   • 在零‑shot 设置下查询每个大语言模型（无微调），记录生成的答案。
   • 使用简单的字符串匹配和模糊匹配后处理器来判断答案是否正确。

4. 分析

   • 测量 一致性：给定实体产生相同正确答案的表面形式比例。
   • 进行回归分析，以区分实体频率（实体在预训练数据中出现的频率）与表面形式频率的影响。

结果与发现

• 词汇变体很重要：模型对轻微的正字法调整（例如 “United States” → “United‑States”）处理得相对较好，但在面对更大的词汇变化，如缩写（“USA”）或不常见的别名（“America”）时表现较差。
• 频率效应：在预训练语料中出现频率高的实体，即使以罕见的表面形式出现，也能更可靠地被检索到。相反，高频的表面形式在一定程度上可以弥补低频实体的不足。
• 不存在纯粹不变性：相同的事实并不总是能在不同的表面形式之间一致检索到，这否定了 LLM 以完全抽象、名称无关的方式存储事实的假设。

实际意义

• 稳健的问答系统：在构建聊天机器人或搜索助手时，开发者应预料到用户会以多种方式指代同一实体。加入同义词扩展或表面形式归一化可以显著提升答案的可靠性。
• 提示工程：简单的微调——使用最常见的名称或添加澄清上下文——即可在不更改模型的情况下提升事实准确性。
• 模型选择：该研究提供了一个快速的合理性检查，用于根据模型对名称变体的容忍度来选择大语言模型，这在别名众多的多语言或特定领域应用中至关重要。
• 安全与合规：在受监管的领域（如医疗或金融建议），事实回忆不一致可能导致错误信息。将表面形式多样性纳入评估流程，可在部署前揭示潜在的脆弱性。

限制与未来工作

• Zero‑shot 关注：实验仅考虑了未进行任何任务特定微调的模型。未来工作应探讨指令微调或检索增强模型是否表现出更高的表面形式不变性。
• 以英语为中心的数据：RedirectQA 依赖英文维基百科的重定向，因此这些发现可能无法直接迁移到具有不同命名约定的其他语言。
• 答案验证：评估使用字符串匹配，这可能会遗漏正确的改写。更复杂的语义匹配可以细化准确率估计。
• 超越实体：将方法扩展到关系短语（例如 “第44任总统”）或非实体事实，将有助于深化对非逐字记忆的理解。

底线：本文表明，大语言模型的事实记忆是实体本身与我们命名方式之间的微妙平衡。对于构建可靠 AI 产品的开发者而言，考虑表面形式的多样性不仅是锦上添花，而是实际必需。

作者

• Yuto Nishida
• Naoki Shikoda
• Yosuke Kishinami
• Ryo Fujii
• Makoto Morishita
• Hidetaka Kamigaito
• Taro Watanabe

论文信息

• arXiv ID: 2604.21882v1
• 分类: cs.CL
• 发表时间: 2026年4月23日
• PDF: 下载 PDF