[Paper] 자연어 요약은 마이크로서비스 아키텍처에서 LLM에 의한 다중 저장소 버그 로컬라이제이션을 가능하게 한다

Source: arXiv - 2512.05908v1

개요

이 논문은 현대 마이크로서비스 환경에서 가장 고통스러운 문제 중 하나인 수십 개의 저장소에 걸쳐 있는 시스템에서 버그를 일으키는 정확한 코드를 찾는 것을 다룹니다. 코드를 계층적인 자연어 요약으로 변환함으로써, 저자들은 버그 위치 파악을 순수 “텍스트‑투‑텍스트” 검색 문제로 전환합니다. 이는 대형 언어 모델(LLM)이 기존 코드 중심 기법보다 더 효율적으로 처리할 수 있습니다.

주요 기여

• 계층적 NL 요약: 마이크로서비스 코드베이스의 모든 파일, 디렉터리, 저장소에 대해 간결한 자연어 설명을 자동으로 생성합니다.
• 두 단계 NL‑to‑NL 검색:
  1. 저장소 라우팅 – 가장 관련성이 높은 저장소를 빠르게 좁혀줍니다.
  2. 상향식 위치 파악 – 동일한 NL 쿼리를 사용해 저장소 → 디렉터리 → 파일 순으로 탐색합니다.
• 확장 가능한 평가: 46개의 저장소와 약 110만 LOC를 가진 산업용 시스템 DNext에서 Pass@10 = 0.82, MRR = 0.50을 달성했으며, 이는 기존 IR 베이스라인 및 GitHub Copilot, Cursor와 같은 에이전트형 RAG 도구들을 크게 앞섭니다.
• 해석 가능성: 검색 경로(저장소 → 디렉터리 → 파일)가 순수 텍스트로 노출되어, 개발자가 왜 특정 위치가 제안되었는지 투명하게 확인할 수 있습니다.
• LLM‑친화적 설계: 순수 NL만을 사용해 LLM 토큰 윈도우 내에 머무르므로, 원시 코드 검색이 초래하는 컨텍스트 길이 제한을 회피합니다.

방법론

1. 코드 요약
   • 파인‑튜닝된 LLM(예: GPT‑4‑Turbo)이 각 소스 파일을 입력받아 짧고 인간이 읽기 쉬운 설명을 생성합니다(예: “JWT를 이용한 사용자 인증 처리”).
   • 요약은 위로 집계됩니다: 파일 요약으로부터 디렉터리 요약을, 디렉터리 요약으로부터 저장소 요약을 합성합니다.
2. 인덱스 구축
   • 모든 요약을 계층 식별자와 함께 벡터 스토어(예: FAISS)에 저장합니다.
3. 두 단계 검색
   • 1단계 – 저장소 라우팅: 버그 보고서(자연어)를 임베딩하고 저장소 수준 요약과 매칭합니다. 상위 k개의 저장소를 선택합니다.
   • 2단계 – 상향식 위치 파악: 선택된 각 저장소 내에서 동일한 쿼리를 디렉터리 요약에 매칭하고, 이어 파일 요약에 매칭해 후보 파일들의 순위 리스트를 도출합니다.
4. 점수화 및 순위 매기기
   • 쿼리와 요약 임베딩 간 코사인 유사도가 기본 점수이며, 가벼운 재순위 단계에서 메타데이터(예: 최신 커밋 활동)를 반영합니다.

전체 파이프라인은 단일 NL‑to‑NL 패스로 이루어져, 일반적으로 잡음이 많고 무거운 코드 ↔ 텍스트 교차 임베딩을 필요로 하지 않습니다.

결과 및 발견

• 높은 재현율: 상위 10개 결과 중 정답 파일을 찾는 비율이 82 %에 달해, 일반 코드 검색 대비 2배 이상 향상되었습니다.
• 우수한 순위: MRR 0.50은 정답 파일이 평균적으로 리스트 상단에 가깝게 위치함을 의미합니다.
• 토큰 효율성: 파일당 평균 ~30 토큰의 요약으로, 대규모 코드베이스에서도 전체 인덱스가 LLM 컨텍스트 한도 내에 머무릅니다.
• 해석 가능성: 개발자는 중간 단계인 디렉터리·저장소 요약을 읽어 추론 과정을 이해할 수 있으며, 이는 블랙박스 RAG 출력에서는 불가능했습니다.

실무적 함의

• 빠른 디버깅: 요약 파이프라인을 기존 이슈 트래킹 도구(Jira, GitHub Issues)에 연결하면 즉시 순위가 매겨진 파일 제안을 받을 수 있습니다.
• 기업 AI 신뢰성: 투명한 계층 구조(저장소 → 디렉터리 → 파일)는 “왜”가 “무엇”만큼 중요한 규정·감사 요구사항을 충족합니다.
• 확장 가능한 툴링: 인덱스가 순수 텍스트이므로 저렴한 벡터 DB에 저장하고, 코드 변경 시 점진적으로 갱신할 수 있어 CI/CD 파이프라인에 적합합니다.
• LLM 비용 절감: 순수 NL 영역에 머무름으로써 전체 코드 RAG에 비해 비용이 많이 드는 LLM 호출 수를 크게 줄입니다(대용량 소스 임베딩 불필요).
• 팀 간 협업: 마이크로서비스 생태계에서 소유권이 여러 팀에 분산된 경우, 저장소 라우팅 단계가 버그 보고서를 자동으로 적절한 팀에 전달해 핸드오프 마찰을 감소시킵니다.

제한점 및 향후 연구

• 요약 품질 의존성: 접근 방식은 LLM이 정확하고 간결한 요약을 생성하는 능력에 크게 좌우됩니다. 부정확하거나 오래된 요약은 검색을 오도할 수 있습니다.
• 동적 코드: 빠르게 변하는 저장소는 빈번한 재요약이 필요하며, 논문에서는 신선도와 계산 비용 사이의 트레이드오프를 언급합니다.
• 언어 지원 범위: 실험은 Java 중심 코드베이스에 초점을 맞췄으며, Go, Python, Rust 등 다언어 마이크로서비스에 적용하려면 언어별 프롬프트 설계가 필요합니다.
• 세부 위치 파악: 현재 방법은 파일 수준에서 멈추며, 정확한 라인이나 함수까지 pinpoint 하는 것은 아직 미해결 과제입니다.
• 사용자 연구: 정량적 지표는 강력하지만, 실제 개발자 채택도와 인식된 유용성에 대한 실증 연구는 아직 진행되지 않았습니다.

핵심 요약: 버그 위치 파악을 순수 자연어 추론 작업으로 재구성함으로써, 저자들은 전통적인 코드 검색을 대체할 수 있는 실용적이고 해석 가능하며 높은 성능을 보이는 대안을 제시합니다. 이는 대규모 마이크로서비스 조직에서 AI‑지원 디버깅의 핵심 기술이 될 잠재력을 가지고 있습니다.

저자

• Amirkia Rafiei Oskooei
• S. Selcan Yukcu
• Mehmet Cevheri Bozoglan
• Mehmet S. Aktas

논문 정보

• arXiv ID: 2512.05908v1
• Categories: cs.SE, cs.AI, cs.CL, cs.IR
• Published: December 5, 2025
• PDF: Download PDF