[Paper] AI 队友时代的安全：GitHub 上 Agentic Pull Requests 的实证研究

Source: arXiv - 2601.00477v1

概述

论文 Security in the Age of AI Teammates 研究了自主编码代理——比如能够自行打开拉取请求（PR）的 GitHub Copilot 风格的机器人——如何影响真实项目中的软件安全。通过挖掘来自流行仓库的超过 33 k 由代理生成的 PR，作者量化了安全相关更改的普遍程度、它们被合并的频率，以及哪些因素会倾向于接受或拒绝这些更改。

关键贡献

• 大规模经验数据集：策划了 33 k 条由代理编写的 PR（AIDev），并识别出 1 293 条已验证的安全相关 PR。
• 安全行动分类法：对一组重复出现的安全相关意图进行开放编码（例如，加固测试、配置微调、错误处理改进）。
• 接受度分析：显示安全聚焦的代理 PR 约占所有代理活动的 ~4 %，但合并率低于非安全 PR，审查时间更长。
• 拒绝信号检测：发现 PR 复杂度（规模、修改文件数量）和冗长程度比具体安全主题更能预测被拒。
• 跨生态系统洞察：比较了主要语言（JavaScript、Python、Java 等）中的行为，并突出生态系统特定的模式。

方法论

1. 数据收集 – 利用公开的 AIDev 数据集，该数据集跟踪已知自主代理（例如 GitHub Copilot、CodeWhisperer、Tabnine）所创建的 PR。
2. 安全 PR 识别 – 对 PR 标题、正文和变更文件应用关键词过滤（例如 “security”、 “vulnerability”、 “hardening”），随后手动验证每个候选项以消除误报。
3. 定量分析 – 测量出现频率、合并比例和审查延迟，并按代理、编程语言和变更类型（测试、配置、代码、文档）进行分层。
4. 定性编码 – 对随机抽取的安全 PR 样本进行开放编码，以构建安全意图的分类体系。
5. 信号挖掘 – 提取 PR 元数据（新增/删除行数、文件数量、评论数、审阅者数量），并使用统计检验将这些指标与合并结果进行关联。

结果与发现

• 安全 PR 份额：约 4 % 的所有自主 PR 目标是安全，表明代理已经在超出琐碎语法修复的范围内做出贡献。
• 主要行为：最常见的安全相关贡献是 支持性——添加测试、更新文档、微调配置以及改进错误处理——而非直接的漏洞修补。
• 合并结果：仅有 58 % 的安全 PR 被合并，而非安全 PR 为 71 %。
• 审查延迟：安全 PR 在审查队列中停留的时间约长 30 % ，反映出额外的人为审查。
• 拒绝预测因素：更大的 diff 大小、更多的文件数量以及冗长的提交信息与被拒绝高度相关；具体的安全关键字（例如 “XSS”）的影响较弱。
• 生态系统差异：Python 和 JavaScript 代理产生的安全 PR 比例更高，而 Java 代理的合并率更高，这可能是由于 Java 生态系统中更严格的 CI 流水线所致。

实际影响

• 工具团队 应在 AI 生成的 PR 的 PR UI 中提前展示 复杂度指标（diff 大小、文件数量），以提示代理将大幅更改拆分为更小、易于审查的块。
• CI/CD 流水线 可以自动标记涉及安全敏感文件（例如 security.yml、Dockerfile）的代理 PR，以加快安全审查，实现速度与安全的平衡。
• 开发者 可以信任代理处理常规加固任务（添加测试、更新文档），但仍需手动验证任何修改认证逻辑或加密原语的代码。
• 产品经理 可以优先集成在 支持性 安全工作中表现出色的代理，使人类工程师专注于高影响力的漏洞修复。
• 开源维护者 可以为 AI 生成的 PR 采用 “sandbox” 分支，在人工审查之前进行自动化 lint 和静态分析，从而降低延迟。

限制与未来工作

• 基于关键词的过滤 可能会遗漏使用非传统术语的安全 PR，导致对实际数量的低估。
• 本研究聚焦于流行的公共仓库；在企业或高度受监管的代码库中，审查政策更为严格，结果可能会有所不同。
• 手动验证虽然细致，但限制了可扩展性——未来工作可以探索机器学习分类器，以标记安全相关的更改。
• 作者建议将分析扩展到 合并后 的安全结果（例如，代理添加的测试是否真的捕获了漏洞），以及针对生成多文件重构的更新型代理。

作者

• Mohammed Latif Siddiq
• Xinye Zhao
• Vinicius Carvalho Lopes
• Beatrice Casey
• Joanna C. S. Santos

论文信息

• arXiv ID: 2601.00477v1
• 分类: cs.CR, cs.SE
• 出版时间: 2026年1月1日
• PDF: 下载 PDF