[Paper] SysPro: 버그 보고서에서 시스템 수준 동시성 버그 재현

Source: arXiv - 2601.09616v1

Overview

이 논문은 SysPro라는 도구를 소개합니다. 이 도구는 자연어 버그 보고서를 시스템‑레벨 동시성 버그에 대한 재현 가능한 테스트 케이스로 자동 변환할 수 있습니다. 관련 시스템‑콜 시퀀스와 필요한 입력 데이터를 추출함으로써, SysPro는 모호한 인간‑작성 보고서와 개발자가 디버깅 및 수정에 필요한 결정적인 테스트 하네스 사이의 격차를 메워줍니다.

주요 기여

• 비정형 버그 보고서에서 NLP 기법을 사용한 시스템 콜 이름 자동 추출.
• 소스 코드 위치 매핑은 추출된 콜을 해당 콜이 발생하는 정확한 함수와 연결합니다.
• 입력 생성 파이프라인은 정보 검색, 정규식 매칭, 카테고리‑분할 방법을 결합하여 현실적인 입력을 합성합니다.
• 동적 계측 프레임워크는 실행 중에 식별된 시스템 콜 인터리빙을 강제하여 비결정적 버그를 결정적으로 만듭니다.
• 실증적 평가는 선별된 실제 동시성 버그 집합에 대해 높은 성공률(≈ 80 % 버그 재현)과 적당한 오버헤드를 보여줍니다.

Methodology

1. Report Parsing – SysPro는 버그 보고서 텍스트를 파싱하여 후보 시스템‑콜 이름(예: open, read, ioctl)을 키워드 탐지와 품사 태깅을 결합해 식별합니다.
2. Call‑Site Localization – 도구는 프로젝트 소스 트리를 검색하여 식별된 각 호출이 어디에서 사용되는지 찾고, 정적 분석을 활용해 함수 오버로드와 간접 호출을 해결합니다.
3. Input Synthesis –
   • Information Retrieval: 동일한 키워드를 포함하는 기존 테스트 입력이나 설정 스니펫을 가져옵니다.
   • Regex Matching: 보고서에서 구체적인 리터럴(파일 경로, 플래그, 버퍼 크기)을 추출합니다.
   • Category‑Partition: 가장자리 케이스 값을 체계적으로 열거하여 동시성 버그를 자주 유발하는 파라미터 조합을 커버합니다.
4. Interleaving Enforcement – SysPro는 런타임에 대상 바이너리를 ptrace/LD_PRELOAD 훅을 통해 계측하고, 식별된 시스템 콜마다 일시 정지시킵니다. 스케줄러 스레드는 버그 설명에 보고되었거나 추론된 정확한 순서를 강제합니다.
5. Reproduction Loop – 생성된 입력과 강제된 인터리빙을 반복 실행하여 버그가 나타날 때까지(예: 크래시, 어설션 실패, 잘못된 상태) 진행합니다.

모든 단계는 자동화되어 있으며, 입력으로는 버그 보고서와 소스 저장소만 필요합니다.

결과 및 발견

연구 결과 또한 대부분의 재현 실패는 추출이나 스케줄링 논리의 부족보다 환경‑특정 리소스(예: 디바이스 노드)의 누락 때문임을 밝혔습니다.

Practical Implications

• Faster triage – 개발자는 새로 접수된 버그 보고서를 SysPro에 입력하여 바로 실행 가능한 테스트 케이스를 얻을 수 있어 “재현‑후‑디버그” 사이클을 며칠에서 몇 분으로 단축합니다.
• Continuous integration – SysPro는 CI 파이프라인에 통합되어 동시성 버그가 보고되는 즉시 회귀 테스트를 자동으로 생성할 수 있습니다.
• Improved bug tracking – 각 보고서에 재현 가능한 테스트 케이스를 첨부함으로써 팀은 버그 심각도를 더 명확히 파악하고, 수정 작업을 보다 객관적으로 우선순위화할 수 있습니다.
• Security testing – 시스템 수준의 동시성 버그는 종종 권한 상승이나 데이터 유출을 초래합니다; SysPro는 보안 팀이 이러한 취약점을 신뢰성 있게 재현하고 영향을 평가할 수 있게 합니다.

제한 사항 및 향후 작업

• 환경 의존성 – SysPro는 대상 시스템의 하드웨어 및 커널 구성이 원본 버그와 일치한다고 가정합니다; 불일치가 재현을 방해할 수 있습니다.
• 보고서 품질 변동 – 매우 간결하거나 모호한 보고서는 정확한 호출 지점 추출을 위한 충분한 단서를 제공하지 않을 수 있습니다.
• 대규모 코드베이스에 대한 확장성 – 현재 프로토타입은 중간 규모 프로젝트에서는 잘 작동하지만, 방대한 저장소를 인덱싱하고 검색하는 것이 병목 현상이 될 수 있습니다.

향후 방향에는 분산 시스템(프로세스 간 인터리빙) 처리 확대, 누락된 입력 파라미터를 더 잘 추론하기 위한 머신러닝 모델 통합, 그리고 개발자를 위한 환경 설정을 추상화하는 클라우드 기반 서비스 구축이 포함됩니다.

저자

• Tarannum Shaila Zaman
• Zhihui Yan
• Chen Wang
• Chadni Islam
• Jiangfan Shi
• Tingting Yu

논문 정보

• arXiv ID: 2601.09616v1
• 카테고리: cs.SE
• 출판일: 2026년 1월 14일
• PDF: PDF 다운로드