[Paper] Human-AI 协作实现规模化敏捷回归测试：从手动到自动化的 Agentic-AI 队友

Source: arXiv - 2603.08190v1

概述

本文解决了敏捷软件交付中的一个常见痛点：测试规范的编写速度快于将其转化为可运行的回归测试的速度。通过在 Hacon（西门子）开发流水线中嵌入一个“具备代理能力的 AI 同事”，作者展示了 AI 如何能够从已验证的规范自动生成系统级测试脚本，从而显著加快自动化进程，同时让人类保持在质量控制的环路中。

关键贡献

• Agentic AI teammate: 一个检索增强的多代理系统，能够摄取已验证的测试规范并生成可执行的回归测试脚本。
• Integration into agile workflow: 为 Hacon 现有的 CI/CD 和待办事项管理工具提供无缝插件，使开发人员能够在常规冲刺周期中请求、审查和迭代 AI 生成的测试。
• Mixed‑method evaluation: 将定量指标（测试脚本产出率、节省的人工工作量）与来自工业合作伙伴的定性从业者反馈相结合。
• Guidelines for Human‑AI collaboration: 关于规范质量、审查流程以及在规模化自动化测试时的可维护性的实用经验。

方法论

1. 规格检索: 系统首先从需求仓库（例如 JIRA 票据、Confluence 页面）中获取最新、已验证的测试规格。
2. 提示工程与检索增强生成: 大型语言模型（LLM）使用领域特定提示进行预置，并结合检索到的代码片段、API 文档和已有的测试工件，以提升相关性。
3. 多代理编排:
   • Planner Agent（规划代理） 决定整体测试流程（设置、操作、断言）。
   • Coder Agent（编码代理） 在目标测试框架（例如 Selenium、Cypress）中编写脚本。
   • Validator Agent（验证代理） 进行静态分析并快速冒烟执行，以捕获明显错误。
4. 人工审查循环: 开发者在类似 Pull Request 的界面中收到生成的脚本，可进行编辑、批准或拒绝。批准的脚本会自动合并到测试套件中。
5. 评估: 在为期 3 个月的试点中，作者测量了：
   • 生成的脚本数量与手工编写的对比。
   • 手动编写测试所花费的时间。
   • AI 生成测试的缺陷检测率。
   • 通过调查和访谈获得的从业者满意度。

结果与发现

• 吞吐量提升：AI 同事使每个冲刺新增的回归测试数量翻了一倍多。
• 工作量减少：手动编写脚本的时间下降约三分之二，开发人员可以投入更多特性工作。
• 质量持平：AI 生成的测试捕获的缺陷数量几乎与手工编写的相当，仅有轻微下降，并通过人工审查步骤得到弥补。
• 积极的感知：工程师对自动化流水线的信心提升，且欣赏能够快速细化的“初稿”脚本。

实际影响

• 更快的发布周期：即使代码库规模扩大，团队也能保持回归测试套件的最新状态，降低回归缺陷进入生产的风险。
• 成本节约：减少手动编写测试用例，可降低 QA 人力成本，并更好地分配开发者时间。
• 降低测试自动化的入门门槛：新成员可以依赖 AI 生成的脚手架，加速上手。
• 通过人工监督实现可维护性：审查环节确保领域知识、命名规范以及不稳定测试的缓解仍由开发者掌控。
• 即插即用的架构：由于代理通过标准 API 进行通信，该方法可以以适度的工作量适配其他测试框架、语言或 CI 平台。

限制与未来工作

• 规范质量依赖：如果源规范模糊或不完整，AI 队友的输出会急剧下降；作者强调需要严格的文档编写。
• 框架范围：该试点聚焦于 Web UI 测试（Selenium/Cypress）；要扩展到 API、性能或硬件‑在‑环测试，需要额外的领域适配器。
• 模型幻觉风险：LLM 有时会生成引用不存在 API 的代码，因而需要强健的验证层。
• 长期维护：研究覆盖了三个月；未来工作应考察脚本随时间的漂移以及周期性重新生成的成本。
• 人‑AI 信任校准：需要持续研究，以通过自适应置信阈值微调自动化与人工审查之间的平衡。

底线：通过将检索增强型 LLM 与多代理编排层以及轻量级人工审查环路相结合，作者展示了一条在快速迭代的敏捷环境中扩展回归测试自动化的可行路径——提供了一个许多开发组织今天即可采纳的蓝图。

作者

• Moustapha El Outmani
• Manthan Venkataramana Shenoy
• Ahmad Hatahet
• Andreas Rausch
• Tim Niklas Kniep
• Thomas Raddatz
• Benjamin King

论文信息

• arXiv ID: 2603.08190v1
• 分类: cs.SE
• 出版日期: 2026年3月9日
• PDF: 下载 PDF