[Paper] 从前的团队：调查 LLM 驱动的软件团队组成与任务分配中的偏见

Source: arXiv - 2601.03857v1

概述

大型语言模型（LLMs）正被用于自动化许多软件工程任务——从代码生成到项目规划。本文提出了一个更具挑战性的问题：当让 LLMs 决定谁应该加入软件团队以及他们应承担哪些任务时，会发生什么？ 通过模拟成千上万此类决策，作者揭示了系统性的人口统计偏见，这可能会加剧行业中已有的不平等。

Key Contributions

• 经验性偏见审计 针对三种流行的大语言模型（如 GPT‑4、Claude、LLaMA）在 团队构成 和 任务分配 决策上的审计。
• 交叉性分析 同时考虑候选人的原籍国和基于代词的性别线索，超越单一属性研究。
• 大规模仿真 对 3,000 个决策情景进行仿真，控制专业水平（技能等级、经验），以隔离人口统计因素的影响。
• 刻板印象驱动的任务分配证据，显示技术角色与领导角色在不同人口群体之间分配不均。
• 呼吁在基于 LLM 的软件工程工具中采用公平感知的流水线，并为开发者和产品团队提供具体建议。

方法论

1. 情景生成 – 研究人员创建了合成的候选人档案，在两个敏感维度上变化：(a) 国家（例如美国、印度、巴西）和 (b) 代词（他/她/他们）。每个档案还包括真实的专业属性（工作年限、熟悉的技术）。
2. 提示设计 – 对于每个档案，提示要求大型语言模型 (LLM) (i) 决定是否应将该候选人选入团队，以及 (ii) 分配具体任务（例如“后端 API 开发”、“项目协调”）。这些提示模拟了项目经理与 AI 助手的交互方式。
3. 模型选择 – 在相同条件下查询了三种最先进的 LLM，以比较其行为。
4. 统计分析 – 使用逻辑回归和卡方检验测量国家和代词对选拔概率及任务类别的影响，同时控制专业变量。
5. 交叉性关注 – 分析不仅考察每个属性的主效应，还考察它们的交互作用（例如“来自巴西的女性候选人”）。

Results & Findings

• Selection bias – 来自特定国家（例如西欧、北美）的候选人被选中的概率比同等资格的其他地区同行高出12‑18%，即使在考虑技能水平后也是如此。
• Gender‑pronoun effect – 使用女性代词的候选人平均选拔概率降低约7%；非二元代词的下降幅度最大（约10%）。
• Intersectional disparity – “女性 + 非西方国家”的组合导致最大的惩罚（选拔几率约降低20%）。
• Task allocation stereotypes – 技术任务（例如算法设计）不成比例地分配给男性候选人，而协调或“软技能”任务（例如利益相关者沟通）则更常分配给女性候选人。
• Consistency across models – 所有三种大型语言模型都表现出相似的偏见模式，表明问题源于共享的训练数据，而非模型特有的怪癖。

实际意义

• 工具开发者 在将大型语言模型用于人力资源相关推荐（例如自动建议团队名单）时，应嵌入偏见检测检查点。
• 项目经理 需要将 AI 建议视为 建议 而非权威决策，尤其是在人员配备和角色分配方面。
• CI/CD 流水线 若自动从 LLM 输出生成任务看板，必须加入公平性审计，以避免大规模传播不平等。
• 开源社区 可以贡献偏见测试套件（类似本文的仿真框架），以在集成前评估新 LLM 版本。
• 法律与合规团队 应注意，依赖有偏见的 LLM 输出可能使组织面临劳动法下的歧视诉讼。

限制与未来工作

• 研究使用了 合成档案，虽然可控，但可能无法捕捉真实简历和人际互动的全部细微差别。
• 只审查了 三种大型语言模型；更新的或经过领域微调的模型可能表现不同。
• 偏见分析聚焦于 国家和性别代词；其他受保护属性（例如残疾、年龄）尚未探讨。
• 未来研究可以整合 人机交互评估，测试缓解策略（例如提示工程、后处理过滤），并扩展到 实时部署环境，在其中反馈回路可能放大或削弱偏见。

作者

• Alessandra Parziale
• Gianmario Voria
• Valeria Pontillo
• Amleto Di Salle
• Patrizio Pelliccione
• Gemma Catolino
• Fabio Palomba

论文信息

• arXiv ID: 2601.03857v1
• 分类: cs.SE
• 发布日期: 2026年1月7日
• PDF: 下载 PDF