[Paper] LLM 구동 Silent Bug Fuzzing, 딥러닝 라이브러리에서 다목적 및 제어된 Bug Transfer를 통해

Source: arXiv - 2602.23065v1

개요

딥러닝 프레임워크인 PyTorch, TensorFlow, MindSpore는 연구 프로토타입부터 프로덕션‑그레이드 AI 서비스까지 모든 것을 구동합니다. 기존 퍼저는 쉽게 충돌을 찾아낼 수 있지만, 훨씬 더 교묘한 silent bugs—프로그램을 크래시시키지는 않지만 모델 결과를 은밀히 손상시키는 오류—를 놓칩니다. 이 논문은 TransFuzz를 소개합니다. 이는 대형 언어 모델(LLMs)을 활용해 과거 이슈 보고서에서 얻은 버그 탐지 지식을 새로운, 목표가 된 테스트 케이스로 “전이”시켜, DL 라이브러리 전반에 걸친 silent bugs를 체계적으로 발견할 수 있게 하는 새로운 접근법입니다.

핵심 기여

• LLM‑기반 버그 패턴 추출 – 과거 이슈 티켓을 파싱하여 상황 인식이 가능한 무음 버그 설명을 학습합니다.
• 기능‑기반 API 매칭 – 의미 임베딩을 사용해 버그가 있는 API와 동작이 유사한 다른 라이브러리의 API를 찾습니다.
• 맞춤 오라클을 이용한 자동 테스트‑케이스 합성 – 입력과 오라클을 생성해 단순 충돌이 아니라 미묘한 오동작을 감지합니다.
• 자체 검증 모듈 – 전이된 버그 인스턴스가 타당한지 자동으로 확인하는 LLM‑구동 단계입니다.
• TransFuzz 프로토타입 – PyTorch, TensorFlow, MindSpore에서 평가했으며, 10개 버그 카테고리에 걸친 12개의 CVE를 포함해 총 79개의 이전에 알려지지 않은 버그를 발견했습니다.

Methodology

1. Mining historic bug reports – 시스템은 이슈 트래커(GitHub, 메일링 리스트 등)를 크롤링하고 각 보고서를 LLM(예: GPT‑4)에 전달합니다. 모델은 버그 패턴을 추출합니다: 관련 API, 오류 조건, 그리고 버그를 드러내는 오라클.
2. Embedding APIs – 대상 딥러닝 라이브러리의 모든 공개 API는 문서, 타입 시그니처, 예제 코드를 기반으로 만든 벡터로 표현됩니다. 이 벡터들은 기능적 유사성을 포착합니다.
3. Controlled bug transfer – 특정 과거 버그 패턴에 대해, 시스템은 임베딩 공간에서 가장 가까운 API들을 찾습니다. 그런 다음 LLM에게 새로운 API에 맞게 패턴을 재작성하도록 요청하여, 논리적 결함은 유지하면서 인자 이름, 데이터 형태 등을 조정합니다.
4. Test case generation – LLM은 대상 API를 현실적인 텐서와 함께 호출하고, 맞춤형 오라클(예: “출력은 레퍼런스 구현과 수치적으로 동일해야 함”)을 포함하는 구체적인 Python 스니펫을 생성합니다.
5. Self‑validation – 퍼징 캠페인을 시작하기 전에, LLM은 생성된 테스트의 구문적 정확성과 논리적 일관성을 검사하고, 의심스러운 전이를 폐기합니다.
6. Fuzzing loop – 검증된 테스트는 입력 텐서를 변형하는 커버리지‑가이드 퍼저에 전달됩니다. 오라클이 편차를 감지할 때마다 버그가 기록되어 수동 트라이에지 단계로 넘어갑니다.

전체 파이프라인은 완전 자동화되어 있으며, 초기 히스토리 버그 보고서 집합만 시드 데이터로 필요합니다.

Results & Findings

• 79개의 새로운 버그가 보고되었으며, 그 중 12개는 해당 벤더에 의해 CVE로 승인되었습니다.
• 무음 버그 탐지율은 최첨단 DL 퍼저(충돌만 탐지)보다 약 3배 높았습니다.
• 자체 검증 단계는 생성된 전송의 약 **22 %**를 걸러내어, 리콜을 희생하지 않으면서도 불필요한 퍼징 시간을 줄였습니다.

Practical Implications

• Proactive security testing – 개발자는 TransFuzz를 CI 파이프라인에 통합하여 릴리스 전에 무음 정확도 회귀를 포착하고, 기존의 크래시 전용 퍼저를 보완할 수 있습니다.
• Cross‑library robustness – 버그 패턴이 프레임워크 간에 전이되므로 PyTorch에서 발견된 수정 사항이 TensorFlow나 MindSpore에서도 유사한 문제를 빠르게 드러내어 패치 전파를 가속화합니다.
• Reduced manual effort – LLM이 오라클 설계의 무거운 작업을 처리하므로, 일반적으로 무음 버그 퍼징의 병목이 되는 부분을 해결합니다. 팀은 맞춤형 검사를 작성하는 대신 트라이에지와 수정에 집중할 수 있습니다.
• Better model reliability – 무음 수치 또는 그래디언트 오류를 감지하면 하위 모델 드리프트를 방지할 수 있으며, 이는 규제 분야(헬스케어, 금융, 자율 시스템)에서 매우 중요합니다.

제한 사항 및 향후 작업

• LLM 의존성 – 버그 전이의 품질은 LLM이 API 의미를 이해하는 능력에 달려 있습니다; 부정확한 재작성은 거짓 양성 결과를 생성하거나 미묘한 버그를 놓칠 수 있습니다.
• 임베딩의 확장성 – 모든 공개 API를 임베딩하는 방식은 평가된 세 라이브러리에서는 작동하지만, 대규모이며 빠르게 진화하는 코드베이스에 적용하려면 점진적이거나 계층적인 임베딩 전략이 필요할 수 있습니다.
• 오라클 표현력 – 현재 오라클은 주로 동등성 또는 허용오차 기반 검증에 국한되어 있으며, 보다 복잡한 특성(예: 확률적 보장)은 범위 밖에 있습니다.
• 향후 방향은 저자들이 제안한 바와 같이:
  1. 도메인‑특화 코드를 대상으로 LLM을 미세‑조정하여 패턴 충실도를 향상시킵니다.
  2. 다른 ML 생태계(예: JAX, ONNX)로 접근 방식을 확장합니다.
  3. 하이브리드 정적‑동적 분석을 탐색하여 탐색 공간을 더욱 축소합니다.

저자

• Kunpeng Zhang
• Dongwei Xiao
• Daoyuan Wu
• Jiali Zhao
• Yuanyi Lin
• Tongtong Xu
• Shaohua Wang
• Shuai Wang

논문 정보

• arXiv ID: 2602.23065v1
• 분류: cs.SE
• 출판일: 2026년 2월 26일
• PDF: PDF 다운로드