[Paper] JMigBench: LLM을 위한 소스 코드 마이그레이션 평가 벤치마크 (Java 8 to Java 11)

Source: arXiv - 2602.09930v1

개요

이 논문은 JMigBench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 대형 언어 모델(LLM)이 개발자가 Java 코드를 버전 8에서 버전 11로 마이그레이션하는 데 얼마나 도움이 되는지를 측정하도록 설계되었습니다. 실제 API 폐기 사례에 초점을 맞춤으로써, 저자들은 LLM이 대규모 코드 업그레이드에 수반되는 수동 작업을 실제로 줄일 수 있는지를 평가할 수 있는 구체적인 방법을 제시합니다.

주요 기여

• 선별된 마이그레이션 데이터셋: 8개의 폐기된 Java 8 API 카테고리(예: java.time, CORBA, JAX‑WS)와 오픈소스 프로젝트에서 추출한 “전후” 함수 스니펫 쌍을 포함합니다.
• 벤치마크 프레임워크: CodeBLEU와 키워드 기반 정확도 메트릭을 사용한 표준화된 평가 파이프라인으로, 마이그레이션된 코드의 어휘, 구문, 의미 충실도를 측정합니다.
• Mistral Codestral에 대한 실증 연구: 최신 LLM을 Java 마이그레이션 작업에 적용한 직접적인 성능 수치를 제공하며, 강점(단순 일대일 교체)과 약점(복잡한 API 리팩터링)을 강조합니다.
• 오픈소스 공개: 모든 데이터, 평가 스크립트, 분석 노트북이 공개되어 재현 가능성을 높이고 향후 확장을 장려합니다.

방법론

1. Data collection – The authors mined thousands of Java repositories on GitHub, extracting function pairs where a commit upgraded code from Java 8 to Java 11.
2. Quality filtering – Automatic heuristics (e.g., compile‑time checks, diff size limits) were applied, then manual inspection narrowed the set to high‑confidence examples across eight deprecation categories.
3. Prompt design – Each Java 8 function was fed to the LLM with a concise instruction (“Migrate this method to Java 11”). No additional context (e.g., surrounding class) was provided, mimicking a realistic “copy‑paste” usage scenario.
4. Evaluation metrics –
   • CodeBLEU: measures token‑level similarity while rewarding correct syntax and structure.
   • Keyword‑based correctness: checks whether required new APIs (e.g., java.time.LocalDate) appear and deprecated ones disappear.
   • Exact match rate: percentage of migrations that are identical to the reference implementation.

Results & Findings

• 사소한 교체: 모델은 변경이 직접적인 일대일 매핑일 때, 사용 중단된 클래스를 최신 대체 클래스로 신뢰성 있게 교체합니다.
• 복잡한 마이그레이션: 업그레이드에 아키텍처 변경이 필요할 경우(예: CORBA에서 REST 스타일 서비스로 전환), 모델은 종종 구문은 올바르지만 의미적으로는 잘못된 코드를 생성합니다.
• 전체적으로: Mistral Codestral은 반복적인 마이그레이션 단계를 부분적으로 자동화할 수 있지만, 단순 API 교체를 넘어서는 모든 경우에 인간 검토가 필수적입니다.

Practical Implications

• Developer tooling: IDE 플러그인은 LLM‑기반 “quick‑fix”를 통합하여 간단한 폐기된 호출을 자동으로 재작성함으로써 대규모 업그레이드 티켓에서 몇 분을 절감할 수 있습니다.
• CI/CD pipelines: LLM이 구동하는 자동 마이그레이션 스크립트는 업데이트된 코드의 초안을 생성하고, 병합 전에 정적 분석 도구로 검증됩니다.
• Cost‑benefit: 방대한 Java 8 코드베이스를 보유한 기업의 경우, 벤치마크는 저복잡도 API에 대한 수동 마이그레이션 작업이 10‑15 % 감소한다는 것을 시사하며, 이는 측정 가능한 시간 절감으로 이어집니다.
• Training data for custom models: 정제된 데이터셋은 도메인 특화 LLM을 위한 파인‑튜닝 자료로 활용될 수 있어, 더 어려운 카테고리에서 성능 향상을 기대할 수 있습니다.

제한 사항 및 향후 작업

• 데이터셋 범위: JMigBench는 8개의 폐기 카테고리와 함수 수준 스니펫만을 다루며, 더 큰 클래스 또는 모듈 수준 마이그레이션은 포함되지 않습니다.
• 프롬프트 단순성: 실제 개발자는 종종 더 풍부한 컨텍스트(임포트, 주변 코드)를 제공합니다. 보다 정교한 프롬프트가 결과를 개선할 수 있습니다.
• 모델 다양성: 이 연구는 단일 LLM(Mistral Codestral)만을 평가합니다. 벤치마크를 다른 모델(e.g., GPT‑4, Claude)로 확장하면 관찰된 격차가 모델 특유인지 현재 LLM 능력 전반에 기인한 것인지를 명확히 할 수 있습니다.
• 시맨틱 검증: 현재 메트릭은 어휘 유사도에 초점을 맞추고 있습니다; 런타임 테스트나 타입 체크를 통합하면 기능적 정확성에 대한 보다 정확한 그림을 얻을 수 있습니다.

핵심 요약: JMigBench는 커뮤니티에 LLM 기반 코드 마이그레이션을 측정할 수 있는 구체적인 기준을 제공합니다. 초기 결과가 간단한 API 업데이트에 대해 유망하긴 하지만, 복잡한 Java 업그레이드에서 LLM이 인간 전문가를 완전히 대체하기까지는 아직 갈 길이 멉니다. 이 벤치마크 자체가 차세대 AI 지원 개발자 도구를 구축하는 모든 사람에게 귀중한 자원입니다.

저자

• Nishil Amin
• Zhiwei Fei
• Xiang Li
• Justyna Petke
• He Ye

논문 정보

• arXiv ID: 2602.09930v1
• Categories: cs.SE
• Published: 2026년 2월 10일
• PDF: PDF 다운로드