[Paper] 초보 개발자들은 Vibe Coding 중 프로젝트 유지관리자에게 더 큰 리뷰 오버헤드를 초래한다

Source: arXiv - 2602.23905v1

개요

이 논문은 AI‑지원 코딩 도구를 사용하는 초보 개발자(‘vibe coders’라고 칭함)가 오픈‑소스 프로젝트에서 숙련된 기여자를 대체할 수 있는지를 조사한다. GitHub에서 1.7 K명의 vibe coder가 만든 거의 23 K개의 풀 리퀘스트(PR)를 분석한 결과, 경험이 적은 코더는 더 큰 코드 변경을 생성하는 경향이 있지만 유지보수자를 위한 리뷰 작업을 현저히 더 많이 만들며, 그 결과 승인 비율이 낮아지고 PR의 수명이 길어지는 것으로 나타났다.

주요 기여

• 경험이 낮은 vs. 경험이 높은 vibe 코더들을 22 953개의 PR에 걸쳐 실증적 비교.
• 정량적 증거에 따르면 초보 vibe 코더는 경험이 풍부한 동료보다 커밋이 2.15× 더 많고 변경된 파일 수가 1.47× 더 많은 PR을 제출한다.
• 초보자 PR이 리뷰 댓글이 4.52× 더 많이 달리고, 수용률이 31 % 낮으며, 해결되기까지 5.16× 더 오래 열려 있다는 것을 보여준다.
• AI 코딩 에이전트로 인한 생산성 향상이 프로젝트 유지관리자에게 높은 리뷰 오버헤드라는 비용을 초래한다는 통찰.
• 리뷰어 역량 및 목표 교육과 AI‑지원 기여를 균형 있게 조정하기 위한 프로젝트 매니저를 위한 실용적인 권고사항.

Methodology

1. Data collection – The authors leveraged the AIDev dataset, extracting all PRs that involved AI‑generated code (“vibe coding”) from 1,719 unique developers across multiple GitHub repositories.
2. Experience classification – Developers were split into two groups:
   • Exp_Low: developers with fewer prior contributions (low experience).
   • Exp_High: developers with a richer contribution history (high experience).
3. Metric extraction – For each PR, they measured: number of commits, files changed, lines added/deleted, number of review comments, time to close, and acceptance status (merged vs. rejected).
4. Statistical analysis – Non‑parametric tests (Mann‑Whitney U) and effect‑size calculations were used to compare the two groups, controlling for repository size and language where possible.
5. Validation – A subset of PRs was manually inspected to confirm that the AI‑generated code was indeed present and that the experience labels were accurate.

결과 및 발견

• 더 큰 코드 풋프린트: Exp_Low PR은 평균적으로 Exp_High PR보다 2.15 × 더 많은 커밋을 포함하고 1.47 × 더 많은 파일을 수정합니다.
• 무거운 리뷰 부담: 리뷰어들은 초보자 PR에 4.52 × 더 많은 코멘트를 남겼으며, 이는 질문, 제안 또는 재작업이 더 많이 필요함을 의미합니다.
• 낮은 성공률: 저경험 PR은 약 69 %만 병합된 반면, 고경험 PR은 100 % 이상 병합되었습니다 (수용률이 31 % 낮음).
• 긴 처리 시간: 초보자 PR은 닫히거나 병합되기까지 5.16 × 더 오래 열려 있어 피드백 루프가 늘어났습니다.
• 해석: 초보 개발자들은 AI를 활용해 큰 코드 조각을 빠르게 생성하는 경향이 있지만, 도메인 지식과 테스트 엄격성이 부족해 품질을 보장하지 못하고 검증 부담을 인간 리뷰어에게 전가합니다.

Practical Implications

• Reviewer capacity planning – Teams adopting AI‑assisted coding should anticipate a surge in review comments when onboarding junior developers. Allocating additional reviewer bandwidth or automating parts of the review (e.g., static analysis) can mitigate bottlenecks.
• Training & mentorship – Pairing novice vibe coders with mentors who can guide prompt engineering, code validation, and testing practices reduces the downstream review effort.
• Selective AI usage – Encourage experienced developers to use AI for specific, well‑bounded tasks (e.g., boilerplate generation) while keeping them responsible for architectural decisions and critical sections.
• Adaptive PR policies – Implement tiered review workflows: fast‑track PRs from experienced coders, while routing novice PRs through a more thorough checklist (linting, unit tests, CI checks) before human review.
• Risk management – For safety‑critical or high‑stakes projects, relying solely on low‑experience AI‑generated contributions may be unsafe; a hybrid model that blends AI assistance with expert oversight is advisable.

제한 사항 및 향후 연구

• 경험 프록시 – 이 연구는 기여 횟수를 경험의 대리 지표로 사용하지만, 도메인 전문성이나 코드 품질 이력과 같은 정성적 측면을 포착하지 못할 수 있습니다.
• 데이터셋 범위 – 모든 PR은 AIDev 데이터셋에서 가져왔으며, 결과는 사설 저장소나 GitHub에서 충분히 대표되지 않는 언어에서는 다를 수 있습니다.
• AI 도구 변동성 – 분석에서는 특정 AI 코딩 에이전트(예: GitHub Copilot vs. 맞춤형 LLM)를 구분하지 않았으며, 이는 코드 품질에 서로 다른 영향을 미칠 수 있습니다.
• 향후 방향 – 저자들은 초보자를 위한 목표 프롬프트 엔지니어링 교육의 효과를 조사하고, AI 생성 코드를 사전 필터링할 수 있는 자동 리뷰 도구를 평가하며, 장기적인 결과(예: AI 지원으로 초보자가 시간이 지남에 따라 향상되는지)를 탐색하기 위해 연구를 확장할 것을 제안합니다.

저자

• Syed Ammar Asdaque
• Imran Haider
• Muhammad Umar Malik
• Maryam Abdul Ghafoor
• Abdul Ali Bangash

Source:

논문 정보

• arXiv ID: 2602.23905v1
• 분류: cs.SE
• 출판일: 2026년 2월 27일
• PDF: PDF 다운로드