[论文] 可信的 AI 软件工程师

Source: arXiv - 2602.06310v1

概述

The paper “Trustworthy AI Software Engineers” re‑thinks what it means for an AI‑driven coding assistant to be called a software engineer and asks how we can make such agents trustworthy partners in development teams. By grounding the discussion in classic software‑engineering definitions and recent work on agentic AI, the authors propose a framework for evaluating and designing AI members of human‑AI SE teams.

关键贡献

• AI 软件工程师的概念模型 作为 人类‑AI SE 团队 的积极参与者，而非孤立的工具。
• 可信度被定义为系统属性，而不仅仅是用户的感受，包含四个具体维度：
  1. 技术质量（正确性、可靠性、性能）。
  2. 透明性与问责制（可解释性、审计追踪）。
  3. 认识论谦逊（认识不确定性和局限性）。
  4. 社会与伦理对齐（公平性、隐私、合规性）。
• 识别出“信任度量缺口”——许多与信任相关的方面（例如伦理对齐）难以用现有指标量化。
• AI‑SE 工具的伦理‑设计指南，涵盖设计、评估和治理，以促进适当的信任。

方法论

作者采用了 面向愿景的跨学科方法：

1. 文献综述 – 他们将经典软件工程标准（例如 ISO/IEC 12207）映射到近期的 AI 代理研究，提取软件工程师的共同职责。
2. 历史分析 – 他们追溯信任在软件工程中的处理方式（从代码审查到形式化验证），并将其外推到 AI 代理。
3. 维度框架构建 – 基于综述，他们构建了四维信任模型，每一维都根植于具体的软件工程实践（例如，用测试覆盖率衡量技术质量，用模型卡衡量透明度）。
4. 差距分析 – 他们将提出的维度与现有评估工具（基准套件、可解释性指标）进行对比，以突出哪些方面尚未能够可靠测量。

该方法论有意保持高层次，旨在激发讨论，而非提供实证验证。

Results & Findings

• AI 代理人在承担需求解释、设计建议、代码生成和维护等职责时，可被有意义地归类为“软件工程师”。
• 可信度是多维的；仅关注单一指标（例如测试通过率）是不够的。
• 当前的评估生态系统仍有不足：虽然技术质量可以通过现有的 CI 流水线进行衡量，但诸如认知谦逊和社会对齐等维度缺乏可靠、标准化的度量。
• 以伦理为设计原则是可行的：在 AI 工具中嵌入来源日志、不确定性量化以及基于政策的约束，可在一定程度上弥合信任鸿沟。

实际意义

通过采用这些实践，组织可以开始 在 AI 助手擅长的领域（速度、模式识别）上建立信任，同时在人类洞察、伦理或不确定性占主导的情况下保持人工监督。

限制与未来工作

• 仅限视觉：本文未提供实证研究或用户实验；其主张基于概念性分析。
• 测量挑战：虽然信任维度论证充分，但对认知谦逊和社会对齐的具体、经过验证的度量仍未开发。
• AI 代理的范围：该框架假设相对强大的基于语言模型的代理；对更窄的工具（例如 linters）的适用性未进行探讨。

作者建议的未来研究方向包括：构建捕获完整信任光谱的基准套件，开展人机 AI 软件工程团队的纵向研究，以及制定将伦理‑设计原则落地的治理框架。

作者

• Aldeida Aleti
• Baishakhi Ray
• Rashina Hoda
• Simin Chen

论文信息

• arXiv ID: 2602.06310v1
• 类别: cs.SE
• 出版日期: 2026年2月6日
• PDF: 下载 PDF