[Paper] 当 AI 写作时，谁的声音仍在？量化大型语言模型中对 World English Varieties 的文化标记抹除

Source: arXiv - 2602.22145v1

概述

论文 “When AI Writes, Whose Voice Remains? Quantifying Cultural Marker Erasure Across World English Varieties in Large Language Models” 调查了现代大型语言模型中的一种细微但重要的偏见：当它们改写或“专业化”文本时，往往会剥除能够标示说话者文化身份的语言特征（例如印度、新加坡或尼日利亚英语）。作者提出了术语 “文化幽灵化”（Cultural Ghosting） 来描述这种系统性的抹除，并提供了首套量化该现象的指标。

关键贡献

• Definition of Cultural Ghosting: 为LLM生成文本中丧失特定文化语言标记提出了明确的、研究级别的概念。
• Two novel metrics:
  • Identity Erasure Rate (IER) – 模型删除的文化标记所占比例。
  • Semantic Preservation Score (SPS) – 原始文本与改写文本之间的语义相似度（基于嵌入）。
• Large‑scale empirical study: 对来自五种主流LLM（包括GPT‑3.5、Claude、LLaMA等）的22,350个输出进行分析，涵盖三种提示风格和三种世界英语变体（印度、新加坡、尼日利亚）。
• Discovery of the “Semantic Preservation Paradox”: 模型可以在保持高SPS的同时仍然抹去文化线索。
• Mitigation experiment: 实验证明，简单的“保留文化标记”指令可将IER降低约29%，且不会影响SPS。

方法论

1. 数据集构建 – 作者策划了 1,490 条包含 文化标记 词汇（例如 “lah”、用作礼貌粒子的 “cheer up”）以及三种目标英语变体的典型语用惯例的句子。
2. 提示条件 – 每个句子在三种提示下喂给五个 LLM：
   • 中性改写（无额外指令）
   • 专业语气（例如 “使其听起来正式”）
   • 文化保留（明确要求模型保留原始文化标记）。
3. 标记检测 – 基于规则 + 统计的标注器在源文本和生成文本中识别文化标记。
4. 指标计算 –
   • IER =（被移除的标记数）/（源文本中的标记总数）。
   • SPS = 源文本与输出的句子嵌入（SBERT）之间的余弦相似度。
5. 统计分析 – 采用 ANOVA 及事后检验评估模型、提示以及标记类型（词汇 vs. 语用）之间的差异。

结果与发现

• 语用标记（礼貌词、话语标记）的擦除频率是纯词汇标记的 1.9×（71.5 % 对比 37.1 %）。
• 语义保持悖论：尽管语义匹配几乎完美，文化“声音”常常丢失。
• 提示影响：文化保留提示将 IER 降低约 29 %（例如，从 10.3 % 降至 7.3 %），而 SPS 基本保持不变（Δ ≈ 0.01）。
• 模型差异：较小的指令微调模型倾向于擦除更多标记，而更大、更多样化的模型（如 GPT‑4）表现出最低的 IER。

实际意义

• 产品设计： 任何自动重写电子邮件、报告或聊天信息的 SaaS 都应提供“保留文化风格”开关，以避免无意中使用户的声音同质化。
• 开发者工具： 基于 LLM 的代码注释生成器、文档助手和知识库摘要工具需要意识到，“清理”文本可能会剥夺地区身份，进而使非母语使用者感到疏离。
• 合规与 DEI（多样性、公平与包容）： 拥有全球员工的公司可以使用 IER 指标作为诊断工具，审查内部 AI 流程中的文化偏见，支持多样性‑公平‑包容目标。
• 微调策略： 向指令微调数据集中添加带有文化标记的示例，或使用后处理过滤器重新注入检测到的标记，可在不牺牲意义的前提下减轻“幽灵化”现象。
• 用户体验： 保留特定文化的礼貌规范可以提升对 AI 生成交流的礼貌感知和信任度，尤其在面向客户的场景中（例如针对印度或尼日利亚市场的聊天机器人）。

限制与未来工作

• 语言变体范围： 本研究聚焦于三种 World English 变体；对其他方言（例如加勒比、马来西亚英语）的结果可能不同。
• 标记检测依赖性： 基于规则的标注器可能遗漏细微或新兴的文化标记，可能低估 IER。
• 语义度量： SPS 使用静态句子嵌入；可以探索更细致的意义保持（例如篇章连贯性）。
• 缓解深度： “保留文化标记”提示是一种粗糙的手段；未来工作可以研究细粒度控制标记或显式建模文化风格的适配层。
• 人工评估： 虽然自动指标具有参考价值，但大规模人工判断将进一步巩固对感知声音流失和可接受性的主张。

作者

• Satyam Kumar Navneet
• Joydeep Chandra
• Yong Zhang

论文信息

• arXiv ID: 2602.22145v1
• 分类: cs.HC, cs.AI, cs.CL
• 发表时间: 2026年2月25日
• PDF: 下载 PDF