[Paper] PBFuzz: 에이전틱 디렉티드 퍼징을 이용한 PoV 생성

Source: arXiv - 2512.04611v1

개요

이 논문은 PBFuzz라는 “에이전트형” 디렉티드 퍼징 시스템을 소개한다. 이 시스템은 자동으로 취약점 증명(Proof‑of‑Vulnerability, PoV) 입력을 생성한다. 인간 보안 분석가의 반복적인 추론 과정을 모방함으로써, PBFuzz는 exploitable 버그를 발견하는 속도를 크게 높여, 노출 시간(time‑to‑exposure)을 시간 단위에서 분 단위로 단축하면서도 대형 언어 모델(LLM) 호출 비용을 낮게 유지한다.

주요 기여

• 에이전트형 퍼징 루프: 코드 수준 추론, 가설 생성, 피드백 기반 정제를 결합하여 전문가가 PoV를 찾는 방식을 모방한다.
• 의미적 제약 추출: 자동 코드 분석을 통해 도달 가능성(취약한 코드에 도달하는 조건)과 트리거링(버그를 활성화하는 조건)을 구분한다.
• 맞춤형 프로그램 분석 플러그인: 전체 코드베이스를 노출하지 않고도 LLM에 정확하고 대상에 특화된 정보를 제공한다.
• 지속적 메모리 저장소: 반복 사이에 가설을 보존하여 “드리프트”를 방지하고 누적 학습을 가능하게 한다.
• 속성 기반 테스트 엔진: 추출된 제약을 해결하면서 원본 입력 구조를 유지해, 순수 심볼릭 실행보다 효율성을 높인다.
• 실증적 검증: Magma 벤치마크에서 57개의 취약점을 트리거(그 중 17개는 독점)했으며, AFL++ + CmpLog 대비 25.6배 빠르고, 평균 API 비용은 취약점당 $1.83에 불과했다.

방법론

1. 대상 선택 – 시스템은 바이너리와 의심되는 취약 위치 목록(예: strcmp 검사)을 입력받는다.
2. 의미 분석 – 경량 정적 분석(제어 흐름, 데이터 흐름, 테인트)을 통해 두 종류의 제약을 자동으로 추론한다:
   • 도달 가능성: 취약 명령을 실행하기 위해 필요한 조건.
   • 트리거링: 취약점이 실제로 발현되게 하는 조건(예: 특정 버퍼 크기, 매직 값).
3. 가설 생성 – 추출된 제약을 LLM에 전달하여 구체적인 입력 “가설”(부분 바이트 시퀀스, 포맷 문자열 등)을 제안한다.
4. 속성 기반 테스트 – 각 가설을 퍼징 하니스 아래에서 프로그램에 대한 테스트 케이스로 변환한다. 하니스는 빠른 계측(AFL‑style 커버리지 등)을 사용해 제약이 만족되는지 확인한다.
5. 피드백 루프 – 실행 결과(크래시, 커버리지, 제약 만족 여부)를 지속적 메모리 모듈에 저장한다. LLM은 메모리를 재검토하고 가설을 정제하거나 폐기하며 새로운 후보를 생성한다.
6. 종료 – 루프는 PoV가 발견되면(목표 버그와 함께 크래시) 또는 시간 예산이 소진되면 종료한다.

전체 파이프라인은 자동으로 동작하며, 초기 대상 사양과 적당한 LLM API 할당량만 필요하다.

결과 및 발견

핵심 요약

• 속도 – 의미적 제약에 집중함으로써 PBFuzz는 전통적인 그레이박스 퍼저가 주로 수행하는 무작위 탐색을 회피한다.
• 어려운 버그 커버리지 – 속성 기반 테스트 단계가 입력 구조를 보존하므로, 퍼저가 놓치기 쉬운 복잡한 트리거 조건을 만족시킬 수 있다.
• 비용 효율성 – LLM 호출이 포함되더라도 취약점당 비용이 $2 이하로 유지돼, 지속적 통합 파이프라인에 적용하기에 현실적이다.

실용적 함의

• 보안 중심 CI/CD – 팀은 PBFuzz를 야간 빌드에 연결해 새로 도입된 코드 경로에 대한 PoV를 자동 생성함으로써, 출시 전 exploitable 버그를 잡을 수 있다.
• 버그 바운티 자동화 – 연구자는 이 도구를 활용해 공개된 CVE에 대한 PoV를 신속히 생성해, 수동 리버스 엔지니어링 작업을 크게 줄일 수 있다.
• Fuzzing-as-a‑Service – 클라우드 제공자는 고가치 대상에 대해 LLM 추론을 활용한 “에이전트형 퍼징” 서비스를 제공해 더 빠른 결과를 제공할 수 있다.
• 툴체인 통합 – PBFuzz는 표준 계측(AFL 커버리지 맵 등)과 호환되고 맞춤형 분석 플러그인을 받아들여, 기존 퍼저 위에 레이어링할 수 있어 전체 재작성 없이 적용 가능하다.

전반적으로 이 접근법은 인간 전문가와 자동화 테스트 사이의 격차를 메우며, 프로그램 의미에 대해 추론할 수 있는 새로운 “스마트” 퍼저 클래스를 제시한다.

제한 사항 및 향후 연구

• LLM 의존성 – 생성된 가설의 품질은 기반 모델에 좌우되며, 가장자리 케이스 버그는 여전히 수동 지도가 필요할 수 있다.
• 정적 분석 정밀도 – 경량 분석은 깊은 데이터 흐름 관계를 놓칠 수 있어, 고도로 난독화된 코드에 대해 제약 집합이 불완전해질 수 있다.
• 대규모 코드베이스 확장성 – 현재 프로토타입은 독립 바이너리에서 잘 동작하지만, 의미 추출을 대형 애플리케이션에 적용하면 오버헤드가 증가할 가능성이 있다.
• 향후 방향: 저자들은 더 어려운 제약을 위해 심볼릭 실행과의 긴밀한 통합, 신뢰도 점수에 기반한 LLM 호출 예산 적응, 멀티 프로세스 또는 네트워크 대상으로의 프레임워크 확장을 제안한다.

저자

• Haochen Zeng
• Andrew Bao
• Jiajun Cheng
• Chengyu Song

논문 정보

• arXiv ID: 2512.04611v1
• 분류: cs.CR, cs.SE
• 발표일: 2025년 12월 4일
• PDF: Download PDF