[论文] 软件工程学生在真实世界的 Capstone 项目中如何使用 Generative AI？一项实证基线研究

Source: arXiv - 2604.24521v1

Overview

本研究调查了本科软件工程学生在为外部客户交付真实的顶点项目时，实际使用生成式 AI（GenAI）工具——如大型语言模型和代码生成助手——的情况。通过对来自 18 个团队的 150 名参与者进行调查，作者建立了当前实践、态度和客户期望的基准，为正在应对 AI 辅助开发快速扩散的教育者和行业导师提供了具体指导。

关键贡献

• 经验基线：在大型真实的顶点项目环境中（178 名学生，15 个客户项目），对整个软件工程生命周期的生成式 AI 使用进行实证基准。
• 新兴工作流分类：区分团队在需求、设计、编码、测试和文档中如何整合 AI。
• 学生驱动的负责任使用建议：强调验证、代码所有权以及保持独立问题解决能力。
• 客户利益相关者视角：显示对 AI 辅助的强烈支持，但对质量、数据隐私和开发者理解有明确期望。
• 可操作的教学洞见：包括制定明确的 AI 使用政策、提供针对性的 AI 素养资源以及指定团队治理角色。

方法论

研究人员采用了混合方法：

1. 课程背景 – 为期四个月的本科毕业项目模块，明确允许使用 AI 工具。
2. 数据收集 –
   • 定量调查（n = 150），涵盖态度、AI 使用频率、具体任务、感知的收益和风险。
   • 定性开放式回答，用于捕捉细微的工作流程和关注点。
   • 客户调查（项目赞助方），以评估对学生使用 AI 的期望和顾虑。
3. 分析 – 使用描述性统计来衡量使用普及率，主题编码来分析工作流程模式，并通过客户反馈进行交叉验证，以三角验证研究结果。

该设计有意模拟真实的开发环境，避免人为限制导致行为偏差。

结果与发现

• 广泛采用：超过 80 % 的学生报告每周至少使用一次生成式 AI；最常用的工具是 GitHub Copilot、ChatGPT 和特定领域的代码生成器。
• 生命周期覆盖：AI 不仅用于代码生成（≈ 70 % 的团队），还用于起草需求、创建 UML 图、编写测试用例以及生成文档。
• 新兴工作流：出现了两种主要模式：
  1. 先提示，后验证 – 学生通过提示生成代码片段，然后手动测试/审查。
  2. 迭代细化 – 团队使用 AI 进行原型设计，然后在人工反馈下迭代改进。
• 感知收益：更快的原型开发、减少样板代码工作量，以及更便捷地获取最新 API。
• 感知风险：过度依赖导致理解浅薄、可能出现抄袭，以及无意中泄露客户数据。
• 学生建议：强制验证步骤、记录 AI 生成的产物，并定期开展“知识检查”会议，以确保独立能力。
• 客户观点：90 % 对 AI 加速交付表示热情，但 75 % 要求明确保证学生理解其提交的代码，并且不向外部模型输入任何机密数据。

实际意义

• 对教育工作者：制定明确且可执行的 AI 使用政策（例如，“AI 辅助，但最终代码必须由你拥有”），并嵌入 AI 素养模块，教授提示工程、结果验证以及伦理考量。
• 对行业导师：在培养初级开发者时采用相同的 AI 辅助工作流，利用研究中的分类法设定对验证和知识保留的期望。
• 工具构建者：有机会设计“企业安全” 的生成式 AI 界面，支持本地模型运行或数据清洗，以满足客户的隐私需求。
• 团队治理：在每个团队中指定一名 “AI‑champion” 角色，负责监控使用情况、维护 AI 提示日志，并确保符合质量标准——类似代码审查的做法。
• 招聘与评估：招聘人员可以询问候选人验证 AI 生成代码的能力，将潜在风险转化为可衡量的能力指标。

限制与未来工作

• 自报告数据 – 依赖学生调查可能低估或高估实际的 AI 使用情况；对 IDE 进行直接仪器化可以提供更精确的度量。
• 单一机构与课程 – 研究结果反映了某大学的毕业设计结构；需要在不同课程体系和文化背景下进行复制验证。
• 工具生态演变 – 生成式 AI 的快速进步意味着特定工具的流行度可能会变化；需要进行纵向研究以追踪实践的变化。
• 未来方向 – 作者提出进行对比引导式与非引导式 AI 使用的受控实验，开发用于 AI 生成产物的自动溯源追踪，并深入探讨 AI 如何影响团队内部的协作动态。

作者

• Michael Mircea
• Elisa Schmid
• Jakob Droste
• Kurt Schneider

论文信息

• arXiv ID: 2604.24521v1
• 类别: cs.SE
• 出版日期: 2026年4月27日
• PDF: 下载 PDF