[Paper] 新闻 AI 的历史训练数据中种族偏见的影响

Source: arXiv - 2512.16901v1

概述

论文 Impacts of Racial Bias in Historical Training Data for News AI 考察了一个广泛使用的新闻语料库——New York Times Annotated Corpus——如何将过时的种族刻板印象注入现代多标签文本分类器。通过探查特定的 “blacks” 主题标签，作者揭示了历史偏见如何在新闻编辑室的 AI 工具中悄然影响，从故事发现到受众定位。

关键贡献

• 真实新闻语料库的偏见案例研究 – 证明单一主题标签（“blacks”）可以作为更广泛种族主义检测的代理，即使模型是基于数十年前的文章进行训练的。
• 定量与定性偏见分析流水线 – 结合标签频率统计、词级显著性图以及人工循环检查，以揭示隐藏的偏见。
• 可解释人工智能（XAI）诊断用于文本分类器 – 应用 Integrated Gradients 与 SHAP，追踪“blacks”标签在当代话题（如 COVID‑19 反亚裔仇恨、BLM 报道）上的预测影响。
• 新闻编辑部 AI 采用的实用清单 – 提供具体指南（数据审计、标签审查、事后监控），在部署模型前减轻历史偏见。
• 开源制品 – 发布标注子集、偏见分析脚本以及可复现的 Jupyter Notebook，供社区使用。

方法论

1. 数据集与模型 – 作者在 NYT 注释语料库（约 180 万篇文章）上微调了一个标准的基于 BERT 的多标签分类器，使用原始的编辑主题标签，其中包括有争议的 “blacks” 标签。
2. 偏差检测
   • 统计审计：测量 “blacks” 标签出现的频率及其与其他种族相关标签的共现情况。
   • 可解释性：在留出的测试集上运行 Integrated Gradients 和 SHAP，突出显示哪些词元最强烈地激活了 “blacks” 神经元。
   • 人工审查：领域专家检查排名最高的摘录，以解释模型赋予该标签的语义含义。
3. 现代事件压力测试 – 在近期关于 COVID‑19 反亚裔仇恨和 Black Lives Matter 运动的文章上评估分类器，以观察 “blacks” 标签是否表现为通用的 “种族主义检测器”。
4. 性能比较 – 将有偏差的模型与在移除 “blacks” 标签并重新平衡数据集后训练的对照模型进行基准对比。

结果与发现

简而言之，“blacks” 标签编码了对黑人社区的陈旧、刻板的观念，并渗透到对其他少数族裔主题的预测中，可能导致下游新闻编辑室应用出现偏差。

实际影响

• Story discovery pipelines – 自动标签器可能基于错误线索呈现“种族主义”故事，导致编辑错过或错误优先当前社会运动的报道。
• Audience segmentation & personalization – 带有偏见的标签可能输入推荐引擎，意外强化对特定人口群体的有害叙事。
• Summarization & headline generation – 如果下游 LLM 依据带偏见的主题标签进行条件化，生成的摘要在报道黑人主题时可能过度强调犯罪或暴力。
• Compliance & brand safety – 使用 AI 进行合规检查的新闻编辑部可能将合法内容标记为“种族主义”，或相反，让仇恨内容逃过审查，导致法律和声誉风险。
• Developer workflow – 该论文的 XAI‑驱动审计可集成到 CI 流水线中：在每个模型版本提升到生产前运行偏见检查笔记本。

总体而言，研究警示 历史语料库并非中立；开发者必须将其视为遗留产物，主动清理或补偿其中嵌入的偏见。

限制与未来工作

• 范围仅限于单一语料库和标签 – 研究结果可能无法推广到其他新闻数据集或多语言环境。
• 模型快照静态 – 分析未涵盖模型在定期使用新数据重新训练的持续学习情景。
• 人工评估规模 – 定性审查仅涉及少数专家小组；更大、更具多样性的用户研究可能会发现额外的偏差维度。
• 缓解策略 – 论文提出标签移除和再平衡，但未探讨高级去偏技术（例如对抗训练、反事实数据增强）。

未来研究方向包括将偏差审计框架扩展到多语言新闻档案、为代表性不足的群体自动生成反事实数据，以及构建可直接与新闻编辑部内容管理系统集成的开源工具。

作者

• Rahul Bhargava
• Malene Hornstrup Jespersen
• Emily Boardman Ndulue
• Vivica Dsouza

论文信息

• arXiv ID: 2512.16901v1
• 分类: cs.LG, cs.AI, cs.CL, cs.CY
• 出版日期: 2025年12月18日
• PDF: 下载 PDF