[Paper] LLM이 프로그램 의미론을 복원할 수 있을까? 심볼릭 실행을 통한 체계적인 평가

Source: arXiv - 2511.19130v1

개요

이 논문은 대형 언어 모델(LLM)이 코드 난독화를 “풀어낼” 수 있는지 조사한다. 난독화는 개발자가 소프트웨어를 이해·테스트·보안하기 위해 흔히 마주치는 장애물이다. 저자들은 KLEE 엔진을 이용한 심볼릭 실행으로 생성된 데이터를 사용해 LLM을 파인튜닝함으로써, 일반 파인튜닝만으로보다 원래 프로그램 의미를 더 신뢰성 있게 복원할 수 있음을 보여준다.

주요 기여

• 난독화 복원 벤치마크 스위트 – 제어 흐름 평탄화, 불투명 술어, 산술 인코딩, 분기 인코딩 등 4가지 고전 난독화 기법을 TUM Obfuscation Benchmarks, LLVM 테스트 스위트, 알고리즘 저장소의 다양한 C 프로그램에 적용.
• 하이브리드 학습 파이프라인 – 난독화/원본 코드 쌍에 대한 기본 파인튜닝에 더해 KLEE가 생성한 아티팩트(SMT 제약식, 경로 통계, 구체적 테스트 케이스)를 삽입하는 “향상된” 모드.
• 포괄적 평가 지표 – 컴파일 성공률(구문적 정확성), 심볼릭 실행 하에서의 행동 동등성(의미적 충실도), 코드 품질 점수(가독성/구조).
• 실증적 발견 – GPT‑4.1‑mini가 다른 최첨단 LLM을 지속적으로 능가하며, KLEE‑증강 학습이 전반적으로 의미 보존을 향상시킴.
• 실용적 통찰 – LLM과 심볼릭 실행을 결합하면 코드가 의도적으로 혹은 비의도적으로 난독화된 경우에도 자동 테스트, 정적 분석, 프로그램 이해를 크게 향상시킬 수 있음을 입증.

방법론

1. 난독화 생성 – 저자들은 각 소스 파일에 네 가지 잘 연구된 변환을 프로그래밍 방식으로 적용해 원본 프로그램당 여러 난독화 변형을 만든다.
2. 심볼릭 실행 데이터 수집 – 원본/난독화 쌍마다 KLEE를 실행해 다음을 생성한다:
   • 각 실행 경로를 설명하는 SMT(제한 이론) 제약식,
   • 경로 수준 통계(예: 분기 수, 루프 경계) 및
   • 높은 경로 커버리지를 달성하는 구체적 테스트 케이스.
3. 모델 파인튜닝 – 세 가지 주요 LLM(GPT‑4.1‑mini 포함)을 두 가지 방식으로 파인튜닝한다:
   • 기본: 단순 “난독화 → 원본” 코드 번역 쌍.
   • 향상: 동일한 쌍에 KLEE 아티팩트를 보조 컨텍스트로 연결.
4. 평가 파이프라인 – 생성 후 각 복원된 코드는:
   • 구문적 정확성을 확인하기 위해 컴파일,
   • 다시 KLEE를 실행해 심볼릭 행동이 원본과 일치하는지 검사,
   • 가독성 지표(예: 순환 복잡도, 명명 규칙)로 점수화.

전체 워크플로는 완전 자동화되어 재현 가능한 대규모 테스트가 가능하다.

결과 및 발견

• 컴파일 성공률은 KLEE 아티팩트를 추가했을 때 15‑25 포인트 상승하여, 추가된 의미적 힌트가 모델을 구문 오류가 있는 재작성에서 멀어지게 함을 보여준다.
• 의미 충실도(심볼릭 실행 하의 행동 동등성)는 모든 모델에서 약 20 포인트 향상되어, 복원된 코드가 실제로 원본과 동일한 동작을 함을 확인한다.
• 가독성 점수는 소폭 상승했으며, KLEE‑증강 학습 후 생성된 코드는 제어 흐름이 더 명확하고 명명 규칙이 보다 일반적이다.
• GPT‑4.1‑mini는 가장 큰 컨텍스트 윈도우와 강력한 추론 능력 덕분에 일관되게 가장 신뢰할 수 있는 복원을 제공한다.

실용적 함의

• 자동 역공학 – 보안 팀은 난독화된 바이너리를 먼저 C 형태(예: 디컴파일)로 추출한 뒤, KLEE‑증강 LLM을 사용해 인간이 읽을 수 있는 버전을 복원함으로써 취약점 분석 속도를 높일 수 있다.
• 견고한 정적 분석 – 소스 수준 정보를 필요로 하는 도구(린터, 타입 체커, 형식 검증기)는 이 접근법으로 제3자 라이브러리를 사전 처리해 컴파일러 최적화나 의도적 난독화에 의한 “블랙 박스” 효과를 완화할 수 있다.
• CI·테스트 파이프라인 – 빌드 과정에서 과도한 최적화가 코드를 무의식적으로 난독화할 경우, 복원 단계가 깨끗한 버전을 재생성해 테스트 프레임워크에 전달함으로써 테스트 커버리지를 유지한다.
• 개발자 생산성 – 레거시 모듈이 최소화되었거나 매크로가 과다하게 확장된 대규모 코드베이스에서, 개발자는 LLM에 “의미 정리”를 요청해 동일하게 동작하지만 읽기 쉽고 수정하기 쉬운 코드를 받을 수 있다.

실무자에게 핵심 메시지는 심볼릭 실행 데이터가 강력한 “의미 앵커” 역할을 하여 LLM을 순수 패턴 매칭 도구에서 프로그램 행동을 존중하는 도구로 전환한다는 점이다.

한계 및 향후 연구

• 언어 범위 – 본 연구는 C 프로그램에만 초점을 맞추었으며, C++, Rust, 관리형 언어로 확장하면 템플릿, 가비지 컬렉션 등 새로운 과제가 등장할 수 있다.
• KLEE의 확장성 – 심볼릭 실행은 대규모 코드베이스에서는 비용이 많이 들며, 경로 폭발 문제 때문에 처리 가능한 프로그램 크기에 제한이 있었다.
• 난독화 다양성 – 고전적인 네 가지 변환만 평가했으며, 최신 패커, 가상화 기반 난독화, AI‑생성 난독화 등은 아직 테스트되지 않았다.
• 모델 크기 vs. 비용 – GPT‑4.1‑mini가 최고의 성능을 보였지만, CI 파이프라인에서 대형 LLM을 운영하는 비용이 부담될 수 있다. 향후 연구에서는 의미적 이점을 유지하면서도 경량화·양자화된 모델을 탐색할 필요가 있다.

저자들은 점진적 심볼릭 피드백을 활용한 학습 전략을 포함한 추가 방안을 제시하고 있다.