[Paper] 亲属关系数据基准用于多跳推理

Source: arXiv - 2601.07794v1

概览

本文介绍了 KinshipQA，一个新的基准，用于通过让大型语言模型（LLM）在现实的家谱中推断关系来测试其多跳推理能力。通过按需生成特定文化的族谱，作者能够系统地变化难度、推理深度和文化假设，为开发者提供一个细粒度的工具，以探查模型的成功之处或失误之处。

关键贡献

• 生成式族谱管线 – 一种全自动方法，能够创建大型、可信的家族树，遵循多样亲属系统的婚姻规则（例如父系、母系、多配偶制）。
• 可扩展基准 – KinshipQA 能生成任意数量的推理实例，使研究者能够在任意规模上对模型进行压力测试。
• 可控难度 – 任务参数（关系深度、文化约束、跳数）可调节，支持对特定推理能力进行有针对性的评估。
• 零样本评估套件 – 对六种最先进的大语言模型（包括开源和商业模型）在统一的确定性解码协议下进行基准测试，使用精确匹配和集合指标。
• 实证洞察 – 该基准揭示了模型之间系统性的性能差距，并突出多跳推理中的文化偏见。

方法论

1. Genealogy Generation
   • 作者将多个文化体系的婚姻和亲属规则编码为逻辑约束。
   • 约束满足生成器对个体进行抽样、分配性别、创建婚姻并关联子女，生成一个完整连通的家谱树。
2. Task Derivation
   • 从每棵树中，系统自动生成自然语言问题，例如 “X 的曾祖母是谁？” 或 “Y 是 Z 的表亲吗？” 这些问题需要跨越 1‑5 步关系进行推理。
   • 答案以规范形式（例如 “Alice”）给出，同时提供一组可接受的同义词，以容纳命名的变体。
3. Evaluation Protocol
   • 六个大型语言模型（GPT‑4、Claude‑2、Llama‑2‑70B、Mistral‑7B 等）接收问题及原始家谱描述作为上下文。
   • 模型在 zero‑shot（无微调）条件下运行，使用确定性解码（temperature = 0）以确保可复现性。
   • 通过 Exact Match (EM) 和 Set‑Based F1 两项指标衡量性能，既捕获严格正确性，也对可接受的替代答案给予部分得分。

结果与发现

• 性能差距大：最佳商业模型（GPT‑4）比开源对手高出20‑30 个百分点。
• 深度敏感性：在超过三跳后准确率急剧下降，表明当前的大语言模型在处理更深的关系链时存在困难。
• 文化偏见：主要在西方文本上训练的模型在处理具有非二元性别角色或一夫多妻婚姻规则的亲属系统时表现明显更差。
• 确定性解码很重要：即使温度 = 0，一些模型仍会产生“幻觉”亲属，凸显内部世界模型一致性方面的缺口。

实际意义

• 调试推理管道：KinshipQA 可以作为一种合成压力测试，适用于任何需要组合多个事实的系统（例如，知识图谱问答、推荐引擎）。
• 微调数据选择：该基准能够生成无限的、特定文化的示例，使其成为改进多跳推理的有针对性微调数据的宝贵来源。
• 偏见审计：通过切换文化规则集，开发者可以在部署前揭示并量化模型中的文化盲点。
• 提示工程：零样本结果表明，精心设计的提示（例如，明确的“逐步追踪关系”）可能减轻深度相关错误，这对构建稳健的 LLM 驱动助手提供了有用的洞见。

限制与未来工作

• 合成现实性：虽然族谱遵循逻辑约束，但缺乏真实世界家庭数据的混乱性（例如收养、改名），这可能限制外部有效性。
• 文化范围有限：当前实现仅覆盖少数亲属系统；扩展到更多多样化社会将加强偏差分析。
• 零样本聚焦：研究未探索少样本提示或微调，留下了通过适度适应能够恢复多少性能的问题。
• 评估指标：精确匹配和集合得分忽略了推理过程质量；未来工作可以加入链式思考验证或程序化检查。

KinshipQA 为在文化语境中严格探讨 LLM 推理开辟了新途径，为开发者提供了在模型上线前进行基准测试、调试和改进的实用工具。

作者

• Tianda Sun
• Dimitar Kazakov

论文信息

• arXiv ID: 2601.07794v1
• 分类: cs.CL, cs.AI
• 出版日期: 2026年1月12日
• PDF: 下载 PDF