[Paper] Agent生成代码在多大程度上需要维护？一项实证研究

Source: arXiv - 2605.06464v1

Overview

论文 “To What Extent Does Agent‑generated Code Require Maintenance? An Empirical Study” 探讨了一个在所有使用 LLM‑powered coding assistants 的开发团队中都热议的实际问题：当 AI 编写了一个文件后，后续实际需要多少工作来维护它？ 通过挖掘来自真实开源项目的数千个 pull‑request，作者将 AI 生成代码的维护工作量与人工编写代码的维护工作量进行比较，揭示了当今自主编码代理隐藏的维护成本。

关键贡献

• 大规模经验数据集：分析了 >1,000 个 AI 生成的文件和约 3,200 次更改事件，覆盖 100 个流行的 GitHub 仓库（AIDev 数据集）。
• 维护频率洞察：AI 生成的文件的更新频率远低于人工编写的文件，且更新仅涉及文件总行数的极小部分。
• 修改类型划分：AI 代码的主要变更是 feature extension（添加新功能），而人工编写的代码主要是 bug‑fix 为主。
• 人工参与量化：超过 90 % 的 AI 生成文件的维护工作是由人类开发者完成的，而非由 AI 本身执行。
• 开源可复现性：作者发布了数据提取脚本和标注数据集，供社区进一步使用。

方法论

1. 数据收集 – 研究人员通过扫描 GitHub 上明确标记 AI 辅助的 pull‑request（例如 “generated by ChatGPT”、 “Copilot suggestion”）构建了 AIDev 数据集。随后，他们将每个 AI 生成的文件与同一仓库中的人工编写对应文件配对。
2. 变更提取 – 对每个文件，他们追踪初始 AI 生成提交后一年内的完整提交历史，提取行级 diff 并对每项变更进行分类。
3. 编辑分类 – 使用轻量级分类法（功能扩展、错误修复、重构、文档、样式等），两位标注员手动标记随机抽样的变更；随后训练好的分类器将标签应用于全体数据。
4. 统计分析 – 他们比较了维护频率（每月更新次数）、变更规模（受影响行的百分比）以及参与者（人工 vs. AI）在两组之间的差异，采用非参数检验以处理偏斜分布。

结果与发现

解释： AI 生成的文件往往闲置时间更长，只收到少量、增量式的微调。智能体很少返回来“清理”或修复错误；开发者仍然是主要的维护者。

实际影响

• 工具策略：团队应将 AI 生成的代码片段视为 起始点 而非完成的组件。预计需要分配人工时间用于后续功能集成和 bug 修复。
• 代码审查重点：由于 AI 代码后续较少进行 bug 修复，审查者必须在接受时对潜在缺陷保持高度警惕。
• 维护预算：项目经理可以考虑 AI 生成模块的 持续 维护负担较低，但必须为 初始 集成工作和未来功能扩展预留预算。
• 代理设计：编码助手的开发者可能会优先生成更 稳健、可测试的代码（例如，包含单元测试），以减少目前由人工承担的后续 bug 修复需求。
• 政策与合规：AI 代码很少被重新审查的事实可能会引发对安全关键系统的担忧；组织可能需要制定政策，强制对 AI 编写的资产进行定期审计。

Limitations & Future Work

• 数据集偏差: 该研究仅覆盖标记了 AI 使用的流行开源项目，可能忽略了私有或未标记的 AI 贡献。
• 观察窗口短: 一年追踪可能错过项目成熟后出现的长期维护模式。
• 编辑分类粒度: 某些细微的更改（例如性能调优）可能被归入更宽泛的类别而被误分类。
• 未来方向: 将分析扩展到企业代码库，探索不同 LLM 模型的影响，并研究自动化测试生成如何影响后续维护。

作者

• Shota Sawada
• Tatsuya Shirai
• Yutaro Kashiwa
• Ken’ichi Yamaguchi
• Hiroshi Iwata
• Hajimu Iida

论文信息

• arXiv ID: 2605.06464v1
• 分类: cs.SE
• 发布日期: 2026年5月7日
• PDF: 下载 PDF