[论文] Amplifiers or Equalizers? 软件工程项目式学习中 LLM 演化的纵向研究

Source: arXiv - 2511.23157v1

Overview

本文对大型语言模型（LLM）在软件工程项目式学习（PBL）中对学生成果的影响进行了为期两年的纵向调查。通过比较使用早期免费版 LLM 的 2024 年学生群体与使用最新付费版 LLM 的 2025 年学生群体，作者发现了一个悖论：现代 LLM 既可以为较弱的程序员提供平等机会 又 能扩大高低绩效者之间的差距。

Key Contributions

• 跨两个学年实证比较（2024 年 48 名学生 vs. 2025 年 46 名学生），隔离 LLM 能力升级的影响。
• 双重角色框架：引入 平衡器（提升基线表现）和 放大器（加剧表现差异）的概念。
• 丰富的混合方法数据：结合量化成绩、代码质量指标和定性学生反思，实现三角验证。
• 为软件工程教育者提供 教学建议，帮助在利用 LLM 的同时缓解公平性问题。
• 开放数据集和分析脚本 已发布，以保证可重复性并促进后续研究。

Methodology

1. 课程设计 – 两年均采用相同的学期制 SE PBL 课程（需求收集、设计、实现、测试与交付）。
2. LLM 访问 – 2024 年学生使用免费版模型（如 GPT‑3.5‑turbo，使用有上限）。2025 年学生获得机构许可，使用最新付费模型（如 GPT‑4‑Turbo、Claude‑3）。
3. 数据收集
   • 表现：最终项目成绩、自动化代码质量分数（环形复杂度、测试覆盖率）。
   • LLM 交互：记录的 API 调用、提示类型和 token 使用情况。
   • 调查与访谈：项目后问卷和半结构化访谈，探讨学生感知的帮助、信心和学习策略。
4. 分析 – 使用混合效应回归模型控制先前 GPA 与编程经验；对定性回应进行主题编码以提取模式。

Results & Findings

• 平均表现提升：2025 年学生的项目平均成绩比 2024 年提升 12 %，且在课程前编程评估得分低的学生中，失败率显著下降。
• 方差扩大：成绩的标准差增加 18 %，表明表现优秀的学生受益更大——有些学生几乎拿到满分。
• 代码质量：自动化指标显示 2025 年学生的测试覆盖率提升 15 %，环形复杂度降低 10 %，暗示更规范的编码实践。
• 学生感知：
  • 平衡器情绪在新手中最强，他们报告 “LLM 帮我突破了语法障碍”。
  • 放大器情绪出现在高成就者中，他们使用 LLM 获取高级设计建议，“我可以比同伴更快迭代架构”。
• LLM 使用模式：高绩效者的 API 调用次数是低绩效者的 3 倍，且编写更详细的提示；而较弱的学生倾向于使用简短的 “调试我的代码” 查询。

Practical Implications

• 开发者工具：研究验证，将强大的 LLM 助手整合到真实的 SE 工作流中可以提升基线生产力，尤其在例行编码和调试任务上。
• 团队动态：在技能混合的团队中，LLM 可能减轻初级成员导致的瓶颈，但管理者应监控高级成员是否垄断 “LLM 优势”，以免加深技能差距。
• 课程设计：教育者（以及企业培训项目）可以有意嵌入 LLM 增强的作业，以实现对高级 SE 实践的民主化访问，同时设计对策（如反思日志、提示工程工作坊），确保学习不被完全外包。
• 产品开发：LLM 驱动的 IDE 插件供应商可以针对 “平衡器”功能——引导式脚手架、错误解释、测试生成——来支持经验不足的开发者，同时提供 “放大器”能力（架构建议、设计模式合成）给高级用户。
• 政策与许可：机构需要权衡提供付费 LLM 访问的成本与收益；本文展示的显著教育收益可能为机构订阅提供合理性。

Limitations & Future Work

• 单一机构范围：结果来源于一所大学的 SE 课程；在不同课程体系、文化或行业环境下的外部有效性尚未检验。
• 短期关注：研究仅衡量项目的即时成果；未评估长期对 SE 概念的保持以及在没有 LLM 帮助下的编码能力。
• 提示质量混杂因素：学生如何构造提示的差异可能导致部分放大效应；未来工作可控制提示工程技能。
• 伦理考量：作者指出需要进一步研究在 LLM 生成大量代码时的抄袭检测和知识产权影响。

总体而言，本文提供了对 LLM 在软件工程教育中既是民主化力量又是绩效放大器的细致视角——这种二元性映射了开发者在这些模型成为行业标准协作者时将面临的挑战。

Authors

• Hana Kataoka
• Jialong Li
• Yutaka Matsuno

Paper Information

• arXiv ID: 2511.23157v1
• Categories: cs.SE, cs.HC
• Published: November 28, 2025
• PDF: Download PDF