[Paper] RepoMod-Bench: 구현 독립 테스트를 통한 코드 저장소 현대화 벤치마크

Source: arXiv - 2602.22518v1

Overview

이 논문은 RepoMod‑Bench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 AI 기반 코딩 에이전트가 전체 코드 저장소를 얼마나 잘 현대화할 수 있는지를 측정합니다. 에이전트에게 숨겨진 구현에 구애받지 않는 (블랙‑박스) 테스트를 사용함으로써, 저자들은 원본 코드와 현대화된 코드 간의 기능적 동등성을 평가하는 결정론적이고 언어에 독립적인 방법을 제공합니다—이는 이전 벤치마크들이 달성하기 어려웠던 점입니다.

주요 기여

• 대규모, 다언어 벤치마크: 8개 프로그래밍 언어에 걸친 21개의 실제 리포지터리(14 K–211 K LOC), 총 1.6 M LOC 및 11 616개의 테스트.
• 구현에 구애받지 않는 평가: 테스트는 블랙박스 바이너리로 실행되어 에이전트가 테스트 스위트를 읽거나 맞춤화하여 “속임수”를 하는 것을 방지.
• 표준화된 인터페이스: 각 리포는 일관된 API로 래핑되어 언어 간 기능 검사를 가능하게 함.
• 경험적 베이스라인: 최신 AI 코딩 에이전트 4종을 평가한 결과, 리포지터리 규모가 커질수록 통과율이 급격히 감소함(91 % → 15 %).
• 오픈소스 공개: 벤치마크 데이터, 테스트 하네스, 평가 스크립트가 GitHub에 공개됨.

방법론

1. 리포지토리 선택 – 실제 오픈‑소스 프로젝트를 다양성(다른 도메인, 언어, 규모)과 명확한 “소스” 구현이 있어 기준이 될 수 있는 프로젝트를 선택했습니다.
2. 인터페이스 표준화 – 각 리포는 parse(), serialize()와 같은 함수 집합을 노출하는 얇은 래퍼로 감싸서 언어에 구애받지 않게 합니다. 이를 통해 동일한 테스트 하네스가 어떤 언어 구현에도 호출할 수 있습니다.
3. 구현‑agnostic 테스트 스위트 – 테스트를 언어별 바이너리로 컴파일하여 표준화된 인터페이스를 실행하고 원본 리포지토리의 동작과 출력을 비교합니다. 테스트 바이너리는 AI 에이전트에 절대 노출되지 않습니다.
4. 에이전트 구성 – 네 개의 주요 코드‑생성 에이전트(예: Codex‑기반, GPT‑4‑기반, 그리고 두 개의 오픈‑소스 모델)를 테스트를 보지 못하게 한 채 각 리포지토리를 번역하거나 리팩터하도록 프롬프트합니다.
5. 점수 산정 – 각 리포지토리별 통과율을 계산합니다: 현대화된 코드가 숨겨진 테스트를 만족하는 비율. 결과는 규모 구간(<10 K LOC, 10–50 K LOC, >50 K LOC)별로 집계됩니다.

결과 및 발견

• 스케일링 붕괴: 저장소 크기가 커짐에 따라 성능이 급격히 저하되어 현재 에이전트가 대규모 아키텍처 추론에 어려움을 겪고 있음을 나타냅니다.
• 언어 견고성: 모든 8개 언어에서 통과율이 지속적으로 낮아 병목 현상이 특정 언어 때문이 아니라 복잡한 코드베이스를 관리하는 능력임을 시사합니다.
• 테스트 숨김 효과: 에이전트가 테스트를 전혀 보지 않기 때문에 낮은 점수를 보이는 것이 가시적인 테스트 스위트에 과적합된 결과가 아니라 실제 기능적 격차를 반영합니다.

Source: …

실용적인 시사점

• 툴 개발자: AI‑지원 리팩터링이나 마이그레이션 툴을 구축하고 있다면, RepoMod‑Bench는 테스트 가시성이 없고 다중 언어를 지원하는 실제 운영 환경 제약을 모방한 현실적인 기준을 제공합니다.
• CI/CD 통합: 블랙‑박스 테스트 하네스를 기존 파이프라인에 삽입하면 AI‑생성 패치를 프로덕션에 배포하기 전에 자동으로 검증할 수 있습니다.
• 엔터프라이즈 마이그레이션: 레거시 모놀리스를 현대화하려는 기업은 기대치를 조절해야 합니다—현재 모델은 작고 독립된 컴포넌트에 대해서만 좋은 성능을 보입니다.
• 모델 학습: 이 벤치마크는 단순한 스니펫 수준 완성이 아니라 아키텍처 패턴(모듈 경계, API 계약)을 포착하는 학습 데이터의 필요성을 강조합니다.

제한 사항 및 향후 작업

• 현대화 범위: 벤치마크는 기능적 동등성에 초점을 맞추며, 비기능적 측면(성능, 메모리 사용량, 보안)은 측정되지 않는다.
• 정적 테스트 커버리지: 숨겨져 있긴 하지만 테스트 스위트는 여전히 수동으로 작성되며 실제 배포에서 발생할 수 있는 경계 사례를 놓칠 수 있다.
• 에이전트 다양성: 네 가지 구성만 평가되었으며, 보다 넓은 범위(예: 도메인 특화 모델을 미세 조정한 경우)를 포함하면 다른 스케일링 동작이 나타날 수 있다.
• 향후 방향: 벤치마크를 성능 퇴보를 포함하도록 확장하고, 더 큰 코드베이스(>500 K LOC)를 추가하며, 평가 기준을 넓히기 위해 반자동 테스트 생성 방식을 탐색한다.

저자

• Xuefeng Li
• Nir Ben-Israel
• Yotam Raz
• Belal Ahmed
• Doron Serebro
• Antoine Raux

논문 정보

• arXiv ID: 2602.22518v1
• 분류: cs.SE
• 출판일: 2026년 2월 26일
• PDF: PDF 다운로드