[Paper] 初级开发者在 Vibe Coding 时为项目维护者带来更大的审查开销

Source: arXiv - 2602.23905v1

概述

本文研究了使用 AI‑辅助编码工具的初学者开发者（称为 “vibe coders”）是否能够在开源项目中取代经验丰富的贡献者。通过分析来自 GitHub 上 1.7 千名 vibe coder 的近 23 千个拉取请求（PR），作者发现经验较少的编码者倾向于产生更大的代码改动，但也会为维护者带来显著更多的审查工作，导致接受率下降且 PR 生命周期更长。

关键贡献

• 经验比较：对 22 953 个 PR 中低经验与高经验 vibe 编码者进行实证比较。
• 量化证据：新手 vibe 编码者提交的 PR 包含 2.15 倍更多的提交，以及 1.47 倍更多的变更文件，相较于有经验的同行。
• 演示新手 PR 获得 4.52 倍更多的审查评论，接受率 低 31 %，并且在解决前 打开时间延长 5.16 倍。
• 见解：AI 编码代理带来的生产力提升是以 项目维护者审查负担增加 为代价的。
• 为项目经理提供的实用建议：在 AI 辅助贡献与审查者容量以及针对性培训之间取得平衡。

方法论

1. 数据收集 – 作者利用 AIDev 数据集，提取了来自 1,719 名独立开发者在多个 GitHub 仓库中涉及 AI 生成代码（“vibe coding”）的所有 PR。
2. 经验分类 – 将开发者分为两组：
   • Exp_Low：贡献较少的开发者（低经验）。
   • Exp_High：贡献历史更丰富的开发者（高经验）。
3. 指标提取 – 对每个 PR，测量：提交次数、变更文件数、添加/删除的行数、审查评论数、关闭时间以及接受状态（合并 vs. 拒绝）。
4. 统计分析 – 使用非参数检验（Mann‑Whitney U）和效应量计算比较两组，并在可能的情况下控制仓库规模和语言因素。
5. 验证 – 手动检查了一部分 PR，以确认 AI 生成代码确实存在且经验标签准确。

结果与发现

• 更大的代码占用：Exp_Low PR 的提交次数平均是 Exp_High PR 的 2.15 倍，修改的文件数是其 1.47 倍。
• 更重的审查负担：审阅者在新人 PR 上留下的评论数量是其 4.52 倍，表明需要更多的问题、建议或返工。
• 较低的成功率：低经验 PR 的合并率约为 69 %，而高经验 PR 的合并率超过 100 %（接受率低 31 %）。
• 更长的周转时间：新人 PR 在被关闭或合并之前的开放时间是其 5.16 倍，拉长了反馈循环。
• 解释：新人编程者倾向于依赖 AI 快速生成大量代码块，但缺乏领域知识和测试严谨性来保证质量，从而将验证负担转移给了人工审阅者。

实际影响

• 审稿人容量规划 – 采用 AI‑assisted coding 的团队在引入初级开发者时应预期审查评论会激增。分配额外的审稿人带宽或自动化审查的部分环节（例如 static analysis）可以缓解瓶颈。
• 培训与指导 – 将新手编码者与能够指导 prompt engineering、code validation 和 testing practices 的导师配对，可降低后续的审查工作量。
• 选择性使用 AI – 鼓励有经验的开发者在特定、范围明确的任务（例如 boilerplate generation）中使用 AI，同时让他们负责架构决策和关键代码段。
• 自适应 PR 政策 – 实施分层审查工作流：对有经验的编码者的 PR 进行快速通道，而将新手的 PR 通过更完整的检查清单（linting、unit tests、CI checks）后再进行人工审查。
• 风险管理 – 对于安全关键或高风险项目，仅依赖经验不足的 AI‑generated 贡献可能不安全；建议采用 AI 辅助与专家监督相结合的混合模式。

限制与未来工作

• 经验代理 – 本研究使用贡献次数作为经验的代理，这可能无法捕捉诸如领域专长或代码质量历史等定性方面。
• 数据集范围 – 所有 PR 均来自 AIDev 数据集；在私有仓库或在 GitHub 上代表性不足的语言中，结果可能会有所不同。
• AI 工具差异 – 本分析未区分具体的 AI 编码代理（例如 GitHub Copilot 与自定义 LLM），它们对代码质量的影响可能不同。
• 未来方向 – 作者建议将研究扩展至考察针对新手的提示工程训练的效果，评估能够预过滤 AI 生成代码的自动审查工具，并探索长期结果（例如，新手在 AI 辅助下是否随时间提升）。

作者

• Syed Ammar Asdaque
• Imran Haider
• Muhammad Umar Malik
• Maryam Abdul Ghafoor
• Abdul Ali Bangash

论文信息

• arXiv ID: 2602.23905v1
• 分类: cs.SE
• 发布时间: 2026年2月27日
• PDF: 下载 PDF