[Paper] 고성능 컴퓨팅과 소프트웨어 테스트가 만날 때: MPI를 이용한 분산 퍼징

Source: arXiv - 2512.01617v1

개요

이 논문은 고성능 컴퓨팅(HPC)에서 사실상의 표준인 Message Passing Interface (MPI) 가 대부분의 분산 퍼저가 의존하는 느린 파일 시스템 기반 조정을 어떻게 대체할 수 있는지를 조사한다. 무거운 디스크 I/O를 가벼운 MPI 원시 연산으로 교체함으로써, 저자들은 특히 지속적 통합 파이프라인에서 가장 중요한 초기 커버리지 구축 단계에서 퍼징 캠페인의 가시적인 속도 향상을 보여준다.

주요 기여

• MPI 기반 동기화를 통한 분산 퍼저 구현, 공유 파일 시스템 체크포인트의 필요성을 없앰.
• 경량 코퍼스 교환 프로토콜 설계, MPI_Bcast, MPI_Reduce와 같은 MPI 집합 연산을 사용해 최소 지연 시간으로 퍼징 노드들을 동기화.
• 포괄적인 벤치마크 스위트(AFL 기반 워크로드, 실제 바이너리, 합성 프로그램) 제공, 더 빠른 커버리지 성장과 감소된 정체 현상 입증.
• 확장성 분석을 통해 수십 노드까지 거의 선형적인 속도 향상을 보여주며, 네트워크 포화 지점까지 확인.
• CI/CD 환경과의 통합 포인트 논의, 초기 단계 커버리지 향상이 개발 사이클에서 버그 탐지를 얼마나 빠르게 하는지 강조.

방법론

1. 베이스라인 시스템 – 저자들은 코퍼스를 네트워크 마운트 파일 시스템(NFS)으로 공유하는 기존의 분산 퍼징 설정에서 시작한다.
2. MPI 레이어 – 파일 기반 동기화를 얇은 MPI 레이어로 교체한다:
   • 각 퍼징 워커는 MPI 랭크로 실행된다.
   • 주기적인 broadcast가 새로 발견된 입력을 모든 랭크에 전파한다.
   • Reduction을 통해 커버리지 메트릭을 집계하고, 마스터 랭크가 전역 동기화 시점을 결정한다.
3. 계측 – 퍼저들은 AFL의 커버리지 맵으로 계측되며, 이 맵은 주기적으로 직렬화되어 MPI를 통해 전송된다.
4. 평가 – 최대 32노드(각 노드 = 2코어 VM) 클러스터에서 다음을 사용해 실험을 수행한다:
   • 커버리지 정체를 유발하도록 설계된 합성 “deep‑path” 프로그램.
   • 실제 오픈소스 유틸리티(예: libpng, openssl).

수집된 메트릭: 고유 에지 수, 50 % 커버리지 도달 시간, 네트워크 오버헤드.

결과 및 발견

• 초기 단계 가속: 대부분의 이득은 처음 몇 시간에 나타나며, 빠른 코퍼스 공유가 개별 워커가 로컬 최소점에 머무는 것을 방지한다.
• 네트워크 비용: MPI 트래픽은 전체 실행 시간의 < 5 %에 불과해, NFS 동기화의 I/O 부하(≈ 15 %)보다 훨씬 낮다.
• 확장성: 약 20노드까지는 속도 향상이 대략 선형을 유지하지만, 그 이후에는 이더넷 패브릭의 네트워크 경쟁으로 인해 이득이 평탄해진다.

실용적 함의

• CI/CD 통합 – 초기 커버리지가 빨라지면 퍼징을 머지 전 게이트로 실행해도 파이프라인 지연이 크게 늘어나지 않는다. 팀은 소규모 클러스터(예: 8노드 MPI 작업)만 할당해도 탐지 시간의 2배 감소를 기대할 수 있다.
• 비용 효율성 – 비싼 공유 스토리지를 피함으로써 저렴한 컴퓨팅 전용 노드(클라우드 VM, 온프레미스 HPC 노드)를 활용해도 높은 처리량을 달성한다.
• 툴링 로드맵 – 기존 퍼저(AFL, libFuzzer)를 MPI 쉘로 감싸면 된다; 논문은 인기 퍼징 프레임워크용 플러그인으로 전환 가능한 레퍼런스 구현을 제공한다.
• Deep‑path 탐색 – 협조적인 코퍼스 교환은 복잡한 파서나 프로토콜 스택을 퍼징할 때 흔히 겪는 “커버리지 정체” 문제를 완화한다. 이는 브라우저, 네트워크 데몬 등 대규모 코드베이스에 대한 보다 신뢰할 수 있는 보안 테스트를 가능하게 한다.

제한 사항 및 향후 연구

• 네트워크 의존성 – 접근 방식은 저지연·고대역폭 인터커넥트를 전제로 하며, 과도하게 혼잡한 클라우드 네트워크에서는 MPI 이점이 감소할 수 있다.
• 내결함성 – MPI 기본 런타임은 단일 랭크 실패 시 전체 작업을 중단한다; 저자들은 ULFM이나 체크포인트‑재시작과 같은 복원 레이어가 필요함을 언급한다.
• 확장성 한계 – 실험은 32노드에서 종료했으며, 수백 워커로 확장하려면 계층적 동기화 또는 하이브리드 MPI‑RDMA 기법이 필요할 것으로 보인다.
• 툴 통합 – 현재 프로토타입은 개념 증명 수준이며, 주류 퍼저와의 tighter integration 및 Windows 환경 지원은 아직 해결되지 않은 과제이다.

핵심 요약: HPC에서 사용되는 동기화 기법을 차용함으로써, 저자들은 분산 퍼징을 더 빠르고 저렴하게, 현대 DevOps 파이프라인에 보다 적합하게 만드는 실용적인 경로를 제시한다. 이미 대규모 퍼징을 운영 중인 팀이라면, MPI 기반 조정 레이어로 교체하는 것이 적은 노력으로 큰 효과를 얻을 수 있다.

저자

• Pierciro Caliandro
• Matteo Ciccaglione
• Alessandro Pellegrini

논문 정보

• arXiv ID: 2512.01617v1
• 분류: cs.SE
• 발표일: 2025년 12월 1일
• PDF: Download PDF