[Paper] 이해에 의한 완성: Multi-Granularity Understanding을 활용한 Code Generation 가이드

Source: arXiv - 2512.04538v1

개요

이 논문은 CoCo(Completion by Comprehension)라는 새로운 프레임워크를 소개한다. CoCo는 주변 코드베이스에 대한 보다 풍부하고 다중‑입계의 이해를 코드‑완성 모델에 제공함으로써 성능을 향상시킨다. 함수, 파일, 전체 프로젝트 수준에서 정적 분석 정보를 추출·구조화하여 원시 소스 코드를 정확한 자연어 프롬프트로 변환하고, 이를 통해 기존의 검색‑보강 방식보다 눈에 띄는 정확도 향상을 달성한다.

주요 기여

• 다중‑입계 컨텍스트 추출: 정적 분석을 이용해 함수, 파일, 프로젝트 수준의 구조화된 정보를 수집하고, 제어 흐름 및 의존성 의미를 보존한다.
• 그래프 기반 컨텍스트 선택기: 가벼운 그래프 모델이 중복되거나 잡음이 섞인 스니펫을 필터링하여 프롬프트에 가장 관련성 높은 컨텍스트만 포함한다.
• 통합 자연어 프롬프트: 선택된 구조 데이터를 일관된 텍스트 형식으로 변환해 어떤 코드‑완성 모델에도 바로 추가할 수 있다.
• 구조 인식 재정렬: 생성 후, 재정렬기가 후보들을 의미론적 내용과 코드 구조 모두에 대해 평가하여 가장 설득력 있는 완성을 선택한다.
• 모델‑비종속 통합: CoCo는 기존 LLM 기반 코드 생성기 어느 것이든 감싸 사용할 수 있으며, 벤치마크 스위트(CrossCodeEval, RepoEval)에서 20.2 % 절대 EM 향상을 달성한다.

방법론

1. 정적 코드 분석 – 시스템은 언어‑특화 분석기(e.g., JavaParser, tree‑sitter)를 사용해 대상 저장소를 파싱한다. 추출되는 내용은 다음과 같다.

   • 함수‑레벨: 시그니처, 로컬 변수 타입, 호출된 API.
   • 파일‑레벨: 임포트된 모듈, 클래스 계층 구조, 전역 상수.
   • 프로젝트‑레벨: 빌드 스크립트, 의존성 그래프, 파일 간 호출 관계.

2. 그래프 구성 및 선택 – 추출된 모든 엔티티는 “uses”, “defines”, “calls”와 같은 관계를 나타내는 방향성 그래프의 노드가 된다. 완성 지점과의 근접성 및 사용 빈도에 기반한 관련도 점수가 가지치기 알고리즘을 주도하여, 가장 유익한 상위 k개의 노드만 남기고 무관한 코드는 제거한다.

3. 프롬프트 생성 – 남은 노드들을 자연어 문장으로 선형화한다(e.g., “The function parseJson takes a String and returns a Map<String, Object>”). 이 문장을 원래의 불완전한 코드 조각과 결합해 오프‑더‑쉘프 코드‑완성 모델에 전달한다.

4. 구조 인식 재정렬 – 모델이 여러 후보 완성을 출력할 경우, CoCo는 각 후보를 파싱해 추출된 그래프와의 일관성을 검사한다(예: 변수 스코프와 타입 제약을 만족하는가?). 그런 다음 최종 답변을 반환하기 전에 순서를 재조정한다.

결과 및 고찰

• CrossCodeEval: CoCo + CodeGen‑2B는 71.4 % EM을 달성했으며, 기존 RAG 접근법은 51.2 %에 그쳐 약 20 % 절대 향상을 보였다.
• RepoEval: GPT‑3.5‑Turbo와 결합했을 때 CoCo는 EM을 58.7 %에서 76.9 %로 끌어올렸다.
• 소거 실험에서는 그래프 기반 선택기를 제거하면 성능이 ~8 % 감소하고, 재정렬기를 생략하면 추가로 ~5 % 감소한다는 결과가 나와 각 구성 요소가 의미 있게 기여함을 보여준다.
• 프레임워크는 모델‑비종속이며, 세 가지 LLM 백엔드(CodeGen, StarCoder, GPT‑4) 모두에서 동일한 향상이 관찰돼 개선 효과가 특정 모델 구조가 아니라 더 나은 컨텍스트 제공에 기인함을 확인했다.

실용적 함의

• IDE 플러그인 및 CI 도구 – CoCo는 기존 자동완성 엔진(e.g., GitHub Copilot, Tabnine) 주위에 래핑되어 특히 대규모 모노레포에서 파일 간 의존성이 중요한 경우 더 정확한 제안을 제공한다.
• 온‑디바이스 코드 어시스턴트 – 정적 분석 및 그래프 가지치기가 가볍기 때문에 개발자 로컬 머신에서 실행 가능하며, 비용이 많이 드는 원격 검색 호출에 대한 의존도를 낮춘다.
• 자동 리팩터링 및 버그‑수정 생성 – 구조 인식 재정렬기가 생성된 패치가 타입 안전성과 제어 흐름을 준수하도록 보장해 자동 PR 봇에 대한 출력 신뢰성을 높인다.
• 다중 언어 이식성 – 논문은 Java‑계열 언어에 초점을 맞추었지만, 파서 → 그래프 → 프롬프트 파이프라인 자체가 언어에 구애받지 않으므로 Python, TypeScript, Rust 등에서도 유사한 성능 향상이 기대된다.

제한점 및 향후 연구

• 정적 분석 깊이 – 현재 구현은 구문적 의존성까지만 다루며, 데이터 흐름·별칭 분석과 같은 심층 의미 분석을 추가하면 의도를 더욱 풍부히 포착할 수 있다.
• 대규모 저장소에 대한 확장성 – 그래프 선택기가 잡음을 줄이긴 하지만, 매우 방대한 코드베이스를 처리할 경우 여전히 눈에 띄는 지연이 발생할 수 있다. 증분 인덱싱이나 캐싱 전략이 필요하다.
• 프롬프트 길이 제한 – 매우 큰 컨텍스트는 LLM API의 토큰 한도에 걸릴 수 있다. 향후 연구에서는 계층적 프롬프트나 학습 기반 압축 기법을 탐색할 수 있다.
• 평가 범위 – 현재 벤치마크는 여전히 합성 데이터에 머물러 있다. 실제 개발자 환경에서 CoCo‑강화 완성의 인지적 유용성을 검증하는 사용자 연구가 필요하다.

CoCo는 “생성 전에 이해하기”가 단순 연구 호기심이 아니라 AI‑지원 코딩 도구를 더 똑똑하고 안전하며 개발자 친화적으로 만드는 실용적인 레시피임을 입증한다.

저자

• Xinkui Zhao
• Rongkai Liu
• Yifan Zhang
• Chen Zhi
• Lufei Zhang
• Guanjie Cheng
• Yueshen Xu
• Shuiguang Deng
• Jianwei Yin

논문 정보

• arXiv ID: 2512.04538v1
• 분류: cs.SE
• 발표일: 2025년 12월 4일
• PDF: Download PDF