[Paper] ProDebug: Prolog용 자동 디버깅 시스템

Source: arXiv - 2605.27124v1

개요

이 논문은 ProDebug을 소개한다. 이는 대형 언어 모델(LLM)과 고전적인 스펙트럼‑기반 및 변이‑기반 분석을 결합한 최초의 자동 디버깅 시스템으로, Prolog 과제에서 버그를 찾아 수정한다. 학생들의 Git 제출물을 대상으로 함으로써, 전통적인 디버깅 지원이 부족한 대규모 입문 과정에서 빠르고 개인화된 피드백을 제공하는 것을 목표로 한다.

주요 기여

• Hybrid fault‑localization pipeline: 버그 탐지 정확도를 향상시키기 위해 스펙트럼 기반, 변이 기반, 그리고 LLM 추론이라는 세 가지 독립적인 기법을 결합한 하이브리드 결함 위치 파이프라인.
• Automated repair generation: 변이 연산자와 LLM 기반 코드 합성을 모두 활용한 자동 수리 생성으로, 학생 코드에 대한 구체적인 패치를 생성합니다.
• End‑to‑end integration with Git: Git과의 엔드‑투‑엔드 통합을 통해 도구가 각 학생 커밋마다 자동으로 실행되어 즉시 피드백을 제공합니다.
• Empirical evaluation on 1,499 real buggy submissions: 학부 수준 Prolog 수업에서 실제 버그가 있는 1,499개의 제출물을 대상으로 한 실증 평가를 통해 선언형 언어에 대한 LLM 강화 디버깅의 실용성을 입증했습니다.

방법론

1. Data collection – Student assignments are stored in a Git repository; each commit is treated as a separate debugging instance.
   데이터 수집 – 학생 과제는 Git 저장소에 저장되며, 각 커밋은 별개의 디버깅 인스턴스로 간주됩니다.

2. Spectrum‑based analysis – Executes the program against the test suite, records which predicates are exercised by passing vs. failing tests, and ranks suspicious predicates using statistical formulas (e.g., Tarantula).
   스펙트럼 기반 분석 – 프로그램을 테스트 스위트에 실행하여 통과 테스트와 실패 테스트가 사용하는 프레디케이트를 기록하고, 통계 공식(예: 타란툴라)을 사용해 의심되는 프레디케이트를 순위 매깁니다.

3. Mutation‑based analysis – Systematically injects small syntactic changes (mutations) into the code, re‑runs tests, and observes which mutations cause failures to flip to passes, indicating likely fault locations.
   뮤테이션 기반 분석 – 코드에 작은 구문 변형(뮤테이션)을 체계적으로 삽입하고, 테스트를 다시 실행하여 어떤 뮤테이션이 실패를 통과로 바꾸는지 관찰함으로써 가능한 결함 위치를 파악합니다.

4. LLM reasoning – A pre‑trained LLM (e.g., GPT‑4) is prompted with the faulty program, its test failures, and the suspicious locations identified above. The model produces natural‑language explanations and candidate fixes.
   LLM 추론 – 사전 학습된 LLM(예: GPT‑4)에 결함이 있는 프로그램, 테스트 실패 결과, 위에서 식별된 의심 위치를 제공하면, 모델이 자연어 설명과 후보 수정안을 생성합니다.

5. Repair synthesis – Two parallel paths generate patches:

   • (a) applying mutation operators that have historically turned failing tests into passing ones, and
   • (b) letting the LLM suggest concrete code edits.
     The system ranks the patches by confidence and test‑suite validation.
     수정 합성 – 두 개의 병렬 경로가 패치를 생성합니다:
   • (a) 과거에 실패 테스트를 통과로 바꾼 뮤테이션 연산자를 적용하고,
   • (b) LLM이 구체적인 코드 편집을 제안하도록 합니다.
     시스템은 신뢰도와 테스트 스위트 검증을 기준으로 패치를 순위 매깁니다.

All steps are orchestrated automatically, requiring no manual intervention from instructors.
모든 단계는 자동으로 조정되며, 강사의 수동 개입이 필요하지 않습니다.

결과 및 발견

• Fault localization accuracy: 세 가지 기법을 결합한 결과 Top‑1 히트 비율이 **78 %**로 상승했으며, 스펙트럼 전용은 55 %, 변이 전용은 62 %였습니다.
• Repair success: ProDebug는 버그가 있는 제출물 중 **71 %**에 대해 최소 하나의 올바른 패치를 생성했으며, 그 중 38 %는 LLM이 기여했으며, 변이가 놓친 의미적 오류를 자주 처리했습니다.
• Turnaround time: 전체 파이프라인은 커밋 하나를 평균 12 초에 처리하여 교실 환경에서 거의 실시간 피드백을 제공하기에 충분했습니다.
• Student impact (qualitative): 사후 설문 조사에서 학생들은 자동 힌트가 강사의 코멘트를 기다리는 것보다 논리 오류를 더 빠르게 이해하는 데 도움이 되었다고 보고했습니다.

실용적 함의

• 확장 가능한 교육 조교 – 대학은 대규모 논리‑프로그래밍 강좌에서 ProDebug를 “가상 TA”로 배치하여 채점 병목 현상을 줄이고 고품질 피드백을 유지할 수 있습니다.
• Prolog용 지속적 통합 – Git‑hook 설계를 통해 프로덕션에서 Prolog를 사용하는 팀(예: 지식‑베이스 시스템, AI 추론 모듈)이 정교한 결함 위치 파악으로 회귀를 자동으로 감지할 수 있습니다.
• LLM‑기반 디버깅 도구 강화 – 하이브리드 접근 방식은 전통적인 디버거가 약한 다른 선언형 언어(예: Datalog, SQL)에도 LLM‑구동 지원을 확장하기 위한 청사진을 제시합니다.
• 오픈‑소스 잠재력 – 파이프라인을 라이브러리 형태로 공개함으로써 개발자는 맞춤형 테스트 스위트, 대체 변이 연산자, 혹은 도메인‑특화 LLM 프롬프트를 삽입해 시스템을 자신의 코드베이스에 맞게 조정할 수 있습니다.

제한 사항 및 향후 작업

• 테스트 품질 의존성 – 스펙트럼 기반 및 변이 기반 단계는 비교적 포괄적인 테스트 스위트가 필요합니다; 테스트가 부족하면 결함 위치 파악 정확도가 제한됩니다.
• LLM 환각 – 때때로 언어 모델이 구문은 올바르지만 의미가 틀린 패치를 제안했습니다; 추가 검증 단계가 필요합니다.
• Prolog 전용 휴리스틱 – 현재 변이 연산자는 표준 Prolog에 맞게 수작업으로 설계되었습니다; 다른 방언(예: SWI‑Prolog 확장)으로 확장하려면 추가 엔지니어링이 필요합니다.
• 향후 방향에는 정적 분석을 통합해 가능성이 낮은 결함 위치를 제거하고, few‑shot 프롬프트를 탐색해 LLM 비용을 줄이며, 학생들이 자동 힌트에 의존할 때 학습 성과에 대한 장기 연구를 수행하는 것이 포함됩니다.

저자

• Ricardo Brancas
• Vasco Manquinho
• Ruben Martins

논문 정보

• arXiv ID: 2605.27124v1
• 분류: cs.PL, cs.SE
• 출판일: 2026년 5월 26일
• PDF: PDF 다운로드