[Paper] 소프트웨어 설계 역량에 대한 계층적 평가 – Large Language Models of Code

Source: arXiv - 2511.20933v1

개요

대형 언어 모델(LLM)은 이제 개발자를 위한 흔한 도우미가 되었지만, 핵심 소프트웨어 설계 원칙—특히 응집도(모듈의 부분들이 얼마나 밀접하게 관련되어 있는가)와 결합도(모듈들이 서로 얼마나 의존하는가)—를 실제로 얼마나 잘 이해하고 있는지는 아직 명확하지 않았다. 이 논문은 DeepSeek‑R1 계열(14 B, 32 B, 70 B 파라미터)에 대한 체계적이고 계층적인 평가를 제시하여, 모델이 어디서 성공하고 어디서 실패하는지, 그리고 그것이 실제 코딩 워크플로에 어떤 의미를 갖는지 밝힌다.

주요 기여

• 설계 추론 벤치마크 – 응집도와 결합도 위반을 목표로 하는 “형편없는 설계” 코드 스니펫을 프로그램적으로 생성한 새로운 스위트.
• 다중 레벨 평가 프로토콜 – 외부 가이던스를 점진적으로 감소시키는 세 가지 작업 모드(Verification, Guided, Open‑ended Generation)로, 현실적인 개발자 상호작용을 모방.
• 노이즈 강인성 분석 – 무관한 코드와 주석을 체계적으로 삽입하여 모델의 무관한 컨텍스트에 대한 회복력을 테스트.
• 비대칭성에 대한 실증적 발견 – 결합도 추론은 잡음이 많은 개방형 상황에서 급격히 붕괴되는 반면, 응집도 분석은 비교적 안정적이지만 가이드가 없으면 모두 성능이 저하됨을 보여줌.
• 추적 수준 진단 – 모델 내부 추론 트레이스를 활용해 결합도에 대한 “인지적 단축”과 응집도에 대한 포괄적(하지만 여전히 오류가 있는) 추론을 밝혀냄.

방법론

1. 합성 코드 생성 – 저자들은 의도적으로 설계 결함을 가진 작은 프로그램을 만드는 생성기를 구축했음: 낮은 응집도(관련 없는 함수가 함께 묶여 있음)와 높은 결합도(긴밀한 모듈 간 의존성).
2. 작업 계층 구조
   • Verification – 모델에 코드 조각과 예/아니오 질문(“이 모듈은 응집력이 있나요?”)을 제공.
   • Guided – 모델이 조각이 응집력 있거나 결합도가 높은 이유를 단계별 힌트를 받으며 설명하도록 프롬프트.
   • Open‑ended Generation – 모델이 명시적인 프롬프트 없이 코드를 재작성하거나 리팩터링하여 설계를 개선하도록 요구.
3. 컨텍스트 잡음 – 무관한 함수, 주석, 변수명을 무작위로 삽입해 개발자가 흔히 마주하는 지저분한 파일을 시뮬레이션.
4. 평가지표 – 분류 작업에 대해 표준 정밀도/재현율/F1, 생성된 리팩터링에 대해 BLEU‑style 점수 사용.
5. 추론‑트레이스 분석 – LLM의 체인‑오브‑쓰루(out) 출력을 파싱해 모델이 논리적인 설계‑분석 경로를 따르는지, 아니면 추측으로 단축하는지를 확인.

결과 및 발견

• 응집도: 잡음이 있어도 Guided 작업에서는 F1 점수가 0.85 이상을 유지하며 감소폭이 작음.
• 결합도: 개방형 상황에서 잡음이 존재하면 F1 점수가 50 % 이상 급락하여 추론이 취약함을 나타냄.
• 모델 크기 효과: 70 B 모델이 작은 변형보다 일관되게 우수하지만, 응집도와 결합도 사이의 비대칭성은 규모에 관계없이 지속됨.
• 트레이스 분석: 결합도에 대해서는 모델이 상세한 의존성 검사를 건너뛰고(“단축”) 표면적인 단서만으로 추측하는 경향이 있음. 응집도에 대해서는 함수 책임을 열거하지만 가이드가 사라지면 미묘한 위반을 놓치는 경우가 있음.

실용적 함의

• 코드 리뷰 어시스턴트 – LLM은 지저분한 저장소에서도 명백한 응집도 문제(예: 같은 파일에 관련 없는 함수가 존재)를 신뢰성 있게 표시할 수 있어 1차 리뷰어로 활용 가능.
• 자동 리팩터링 도구 – 현재 모델은 생산 코드베이스에서 자동으로 결합도를 낮추는 작업(예: 서비스 추출, 모듈 디커플링)을 신뢰하기에 충분하지 않으며, 인간의 감독이 여전히 필요함.
• 프롬프트 엔지니어링 – 구조화된 단계별 가이드를 제공하면 결합도 추론이 크게 향상됨. 팀은 IDE 확장에 “Guided” 프롬프트를 삽입해 모델 신뢰성을 높일 수 있음.
• 노이즈 처리 – 실제 코드에는 죽은 코드, 주석, 레거시 스니펫이 많이 포함되므로, 코드를 LLM에 전달하기 전에 사전 필터링이나 컨텍스트 윈도우 관리가 필요함.
• 모델 선택 – 큰 모델이 약간의 이점을 제공하지만, 근본적인 설계‑추론 격차는 파라미터 수가 아니라 아키텍처적 문제임.

제한점 및 향후 연구

• 합성 편향 – 벤치마크가 생성된 코드 패턴에 의존하므로 실제 세계의 다양한 설계 냄새를 완전히 포착하지 못할 수 있음.
• 단일 모델 군 – DeepSeek‑R1 변형만 평가했으며, 다른 LLM(GPT‑4, Claude 등)에서는 결과가 다를 수 있음.
• 정적 분석만 – 런타임 결합도와 같은 동적 행동은 고려되지 않아 성능‑중요 시스템에 대한 적용이 제한적임.
• 향후 방향 – 오픈소스 프로젝트를 포함한 데이터셋 확대, 다중 턴 인터랙티브 디버깅 세션 탐색, 외부 정적 분석 도구와의 통합을 통해 LLM 추론을 보강하는 연구.

저자

• Mootez Saad
• Boqi Chen
• José Antonio Hernández López
• Dániel Varró
• Tushar Sharma

논문 정보

• arXiv ID: 2511.20933v1
• Categories: cs.SE
• Published: November 25, 2025
• PDF: Download PDF