[Paper] 증폭기 또는 이퀄라이저? 소프트웨어 공학 프로젝트 기반 학습에서 LLM 진화에 대한 종단 연구

Source: arXiv - 2511.23157v1

Overview

이 논문은 대규모 언어 모델(LLM)이 소프트웨어 공학 프로젝트 기반 학습(PBL)에서 학생 성과에 미치는 영향을 2년간 종단적으로 조사한 연구이다. 2024년에 초기 무료 티어 LLM을 사용한 코호트와 2025년에 최신 유료 LLM에 접근할 수 있었던 코호트를 비교함으로써, 최신 LLM이 약한 프로그래머에게는 평등화 효과를, 동시에 고성능자와 저성능자 간 격차를 확대시키는 역설을 밝혀낸다.

Key Contributions

• 두 학년도에 걸친 실증적 비교 (2024년 48명 vs. 2025년 46명)로 LLM 능력 업그레이드의 효과를 분리 분석.
• 이중 역할 프레임워크: 평등화자(equalizers)(기본 성과 향상)와 증폭자(amplifiers)(성과 변동성 악화) 개념 도입.
• 풍부한 혼합 방법 데이터: 정량적 성적, 코드 품질 지표, 정성적 학생 반성을 결합해 결과를 삼각측정.
• SE 교육자를 위한 교육학적 권고: LLM을 활용하면서 형평성 문제를 완화하는 방안 제시.
• 재현성 및 추가 연구를 위한 공개 데이터셋 및 분석 스크립트 제공.

Methodology

1. Course Design – 두 해 모두 동일한 학기 길이의 SE PBL 과정을 운영(요구사항 수집, 설계, 구현, 테스트, 배포).
2. LLM Access – 2024년 학생들은 무료 티어 모델(GPT‑3.5‑turbo 등, 사용량 제한) 사용. 2025년 학생들은 최신 유료 모델(GPT‑4‑Turbo, Claude‑3 등)에 대한 기관 라이선스 제공.
3. Data Collection
   • Performance: 최종 프로젝트 성적, 자동화된 코드 품질 점수(순환 복잡도, 테스트 커버리지).
   • LLM Interaction: API 호출 로그, 프롬프트 유형, 토큰 사용량.
   • Surveys & Interviews: 프로젝트 종료 후 설문지와 반구조화 인터뷰를 통해 학생들의 도움 인식, 자신감, 학습 전략 조사.
4. Analysis – 혼합 효과 회귀 모델을 사용해 사전 GPA와 프로그래밍 경험을 통제; 정성 응답은 주제 코딩을 통해 패턴 추출.

Results & Findings

• 평균 성과 향상: 2025년 코호트의 평균 프로젝트 성적이 2024년 대비 12 % 상승했으며, 사전 프로그래밍 평가에서 낮은 점수를 받은 학생들의 낙제율이 통계적으로 유의하게 감소.
• 분산 확대: 성적 표준편차가 18 % 증가해 상위 학생들이 불균형적으로 큰 혜택을 받음(일부는 거의 완벽에 가까운 점수 달성).
• 코드 품질: 자동화 지표에서 2025년 코호트는 테스트 커버리지가 15 % 향상되고 순환 복잡도가 10 % 감소, 보다 체계적인 코딩 관행을 시사.
• 학생 인식
  • 평등화 감정은 “LLM이 문법 장벽을 넘는 데 도움을 줬다”는 초보자들 사이에서 가장 강하게 나타남.
  • 증폭 감정은 “LLM을 활용해 설계 제안을 받아 동료보다 빠르게 아키텍처를 반복할 수 있었다”는 고성능자들 사이에서 등장.
• LLM 사용 패턴: 고성능자는 3배 더 많은 API 호출을 하고 더 상세한 프롬프트를 작성했으며, 약한 학생들은 짧은 “디버그해줘”형 질문에 의존.

Practical Implications

• 개발자 도구: 강력한 LLM 어시스턴트를 실제 SE 워크플로에 통합하면 특히 일상적인 코딩 및 디버깅 작업에서 기본 생산성을 높일 수 있음을 검증.
• 팀 역학: 혼합 스킬 팀에서는 LLM이 주니어 구성원의 병목을 완화할 수 있지만, 시니어가 “LLM 이점”을 독점하지 않도록 관리자가 감시해야 스킬 격차가 심화되지 않음.
• 교육과정 설계: 교육자(및 기업 교육 프로그램)는 LLM이 강화된 과제를 의도적으로 삽입해 고급 SE 실천에 대한 접근성을 민주화하면서, 학습이 완전히 외주화되지 않도록 반성 로그, 프롬프트 엔지니어링 워크숍 등 보완책을 설계할 수 있음.
• 제품 개발: LLM 기반 IDE 플러그인 공급자는 “평등화” 기능(가이드형 스캐폴딩, 오류 설명, 테스트 생성)으로 경험이 적은 개발자를 지원하고, “증폭” 기능(아키텍처 제안, 디자인 패턴 합성)으로 파워 유저를 겨냥할 수 있음.
• 정책 및 라이선스: 기관은 유료 LLM 제공에 대한 비용‑편익을 고려해야 하며, 논문은 교육적 이득이 기관 구독을 정당화할 수 있음을 보여줌.

Limitations & Future Work

• 단일 기관 범위: 결과가 한 대학의 SE 과목에서 도출됐으므로, 다른 커리큘럼, 문화, 산업 환경에 대한 외적 타당성은 검증되지 않음.
• 단기 초점: 연구는 즉각적인 프로젝트 결과만 측정했으며, 장기적인 SE 개념 유지와 LLM 없이 코딩할 수 있는 능력은 평가되지 않음.
• 프롬프트 품질 혼동 변수: 학생들의 프롬프트 작성 능력이 증폭 효과의 일부 원인일 수 있어, 향후 연구에서는 프롬프트 엔지니어링 스킬을 통제할 필요가 있음.
• 윤리적 고려: 저자들은 LLM이 생성한 상당량의 코드에 대한 표절 탐지와 지적 재산권 문제를 더 깊이 조사할 필요성을 언급함.

전체적으로 이 논문은 LLM이 소프트웨어 공학 교육에서 민주화적 힘이자 성과 증폭기라는 이중성을 제시한다. 이는 모델이 산업 현장에서 표준 협업 파트너가 됨에 따라 개발자들이 직면하게 될 도전과도 일맥상통한다.

Authors

• Hana Kataoka
• Jialong Li
• Yutaka Matsuno

Paper Information

• arXiv ID: 2511.23157v1
• Categories: cs.SE, cs.HC
• Published: November 28, 2025
• PDF: Download PDF