[Paper] CHASE: 악성 PyPI 패키지를 분석하기 위한 LLM 에이전트

Source: arXiv - 2601.06838v1

Overview

이 논문은 CHASE라는 다중‑에이전트 시스템을 소개합니다. 이 시스템은 대형 언어 모델(LLM)을 활용하여 PyPI에 있는 악성 Python 패키지를 자동으로 분석하고 표시합니다. LLM‑기반 의미 분석과 결정론적 보안 도구를 결합함으로써 CHASE는 인간 수준에 가까운 탐지 정확도를 달성하면서도 실제 CI/CD 파이프라인에 적용할 수 있을 만큼 짧은 분석 시간을 유지합니다.

주요 기여

• 협업 계층형 에이전트 아키텍처 – 중앙 플래너와 특화된 워커 에이전트(예: 정적 분석, 의존성 그래프 작성, 행동 시뮬레이션)를 조정하는 “계획‑실행” 프레임워크.
• 설계 단계에서 신뢰성 확보 – 안전에 중요한 단계들을 검증된 보안 도구(예: 샌드박스 실행, 시그니처 스캐너)로 위임함으로써 LLM이 발생시킬 수 있는 오류(환각, 컨텍스트 손실)를 격리합니다.
• 고성능 평가 – 3 k 패키지(악성 500개)로 구성된 선별 데이터셋에서 CHASE는 98.4 % 재현율과 0.08 % 위양성률을 달성했으며, 패키지당 중간 실행 시간은 4.5 분입니다.
• 인간 중심 보고서 생성 – 사이버 보안 전문가 설문을 통해 검증된 구조화된 분석 보고서를 생성하여 보안 팀의 사용성을 강조합니다.
• 오픈소스 청사진 – 저자들은 코드, 데이터, 데모 사이트를 공개하여 AI 기반 공급망 방어 구축을 위한 실용적인 출발점을 제공합니다.

방법론

1. Planning Layer – 중앙 LLM이 패키지 메타데이터(이름, 버전, 설명)를 받아 어떤 분석 단계가 필요한지 결정합니다. 작업을 적절한 에이전트에게 할당하는 작업 그래프를 생성합니다.
2. Worker Agents – 각 에이전트는 좁은 하위 작업에 맞게 미세 조정된 경량 LLM 인스턴스입니다:
   • Static Code Agent는 소스 파일을 파싱하고, import를 추출하며, 의심스러운 패턴을 표시합니다.
   • Dependency Agent는 전체 의존성 트리를 구축하고 알려진 취약 라이브러리를 검사합니다.
   • Dynamic Agent는 패키지를 샌드박스에서 실행하고, 시스템 호출을 기록하며, 악의적인 행동을 탐지합니다.
3. Deterministic Guardrails – 워커가 보안에 중요한 결정을 내려야 할 때(예: “이 호출이 네트워크 소켓을 열나요?”) LLM의 판단에 의존하는 대신 전통적인 도구(예: strace, 서명 데이터베이스)를 호출합니다.
4. Result Aggregation – Planner가 에이전트들의 출력을 통합하고, 간단한 투표/가중치 방식을 적용하여 사람이 읽을 수 있는 보고서를 생성합니다.
5. Feedback Loop – 설문 조사에서 수집된 false‑positive/negative 사례를 에이전트의 미세 조정 및 계획 휴리스틱 조정에 다시 반영합니다.

결과 및 발견

주요 관찰:

• 계층적 설계는 환각으로 인한 오류를 크게 감소시킨다; 대부분의 놓친 탐지는 샌드박스가 다루지 못하는 난해한 난독화 기법에서 비롯된다.
• 저수준 시스템 호출을 위한 결정론적 도구를 통합하면 순수 LLM 기반 대비 거짓 양성 비율이 한 차수 감소한다.
• 보안 분석가들은 CHASE가 제공하는 구조화된 “공격‑체인” 뷰를 높이 평가했으며, 이는 트라이에지와 복구 속도를 가속화한다.

실용적인 시사점

• 자동 패키지 스크리닝 – CI/CD 시스템은 CHASE를 의존성 해결 단계에 연결하여, 의심스러운 wheel을 자동으로 거부하거나 격리하여 프로덕션에 도달하기 전에 차단할 수 있습니다.
• 공급망 위험 관리 – 보안 팀은 전체 PyPI 생태계를 모니터링할 수 있는 확장 가능한 방법을 확보하고, 소수의 높은 신뢰도 알림에 인적 자원을 집중할 수 있습니다.
• 확장 가능한 프레임워크 – 에이전트 기반 아키텍처는 언어별 워커를 교체함으로써 다른 생태계(npm, Maven)에도 적용할 수 있으며, Planner 로직은 그대로 유지됩니다.
• 컴플라이언스 및 감사 – 생성된 보고서는 각 패키지에 대해 수행된 정확한 분석 경로를 문서화하여 규제 감사(e.g., SOC 2, ISO 27001)에 대한 증거를 제공합니다.
• 비용 효율적인 방어 – 중간 실행 시간이 5분 미만이므로, 조직은 모든 새로운 의존성을 대상으로 CHASE를 매일 밤 실행해도 과도한 컴퓨팅 비용이 발생하지 않습니다.

제한 사항 및 향후 작업

• 난독화 및 패키징된 코드 – CHASE는 정적 파싱과 샌드박스 계측을 회피하는 고도로 난독화된 페이로드에 어려움을 겪습니다.
• LLM 의존성 – 시스템의 계획 품질은 기본 LLM의 프롬프트 엔지니어링에 달려 있으며, 모델 업데이트 시 재조정이 필요할 수 있습니다.
• 대규모 레지스트리 확장성 – 프로젝트별 스캔은 가능하지만 실시간으로 전체 PyPI 인덱스를 스캔하려면 분산 실행 및 캐싱 전략이 필요합니다.
• 다중 언어 확장 – 향후 작업으로 에이전트 계층 구조를 다른 패키지 관리자에 일반화하고, 위협 인텔리전스 피드를 통합하여 더 풍부한 컨텍스트를 제공하는 것이 포함됩니다.

전반적으로 CHASE는 신중하게 설계된 LLM과 기존 보안 도구의 조합이 현대 소프트웨어 공급망을 위한 신뢰할 수 있는 프로덕션 수준의 악성코드 탐지를 제공할 수 있음을 보여줍니다.

저자

• Takaaki Toda
• Tatsuya Mori

논문 정보

• arXiv ID: 2601.06838v1
• 분류: cs.CR, cs.SE
• 출판일: 2026년 1월 11일
• PDF: Download PDF