[논문] 트랜스포머가 침입 탐지에 실제로 도움이 될까? CIC‑IDS2017 시계열 평가
Source: arXiv - 2606.11098v1
개요
최근 네트워크 침입 탐지를 위한 딥러닝 접근법은 순환 신경망과 Transformer와 같은 시계열 구조를 점점 더 많이 도입하고 있으며, CIC-IDS2017에서 거의 완벽에 가까운 성능을 보고하고 있다. 그러나 많은 기존 연구들은 시계열 모듈에 실제 시퀀스 입력을 제공하지 않거나 현실적이고 누수(leakage)가 없는 조건에서 평가하지 않아, 보고된 성능 향상이 진정한 시퀀스 모델링 능력에서 비롯된 것인지 명확하지 않다. 본 연구에서는 네트워크 대화로부터 순서가 지정된 흐름 시퀀스를 구성하여 CIC-IDS2017을 시계열 침입 탐지 과제로 재구성하고, 무작위 분할, 두 가지 누수‑없는 분할, 그리고 패딩 방식 제거 실험을 통해 9개의 고전 및 딥러닝 모델을 벤치마크하였다. 핵심 결과는 아키텍처가 아니라 패딩 규칙이 Transformer의 성능을 좌우한다는 점이다: 실제 순차적(패딩되지 않은) 윈도우에서는 Transformer가 실험 내 모든 모델 중 가장 높은 macro‑F1 점수(0.89)를 기록했지만, zero‑pad + mask 평가에서는 크게 감소(-0.24 macro‑F1)하고, LSTM, GRU, 1D‑CNN은 안정적인 성능을 유지했다. 누수‑없는 그룹 평가에서는 Random Forest가 가장 견고한 모델(+0.009)으로 나타났으며, Transformer의 오탐률은 0.04%에서 2.7%로 67배 증가해 기존 프로토콜에서는 드러나지 않는 현상이었다. 이러한 발견은 평가 방법론—특히 패딩 규칙과 분할 프로토콜—이 아키텍처 선택보다 보고된 성능에 더 큰 영향을 미친다는 것을 보여준다. 또한, 마지막 값을 반복하는 패딩을 사용하는 일반적인 무작위 분할은 모델 견고성을 최대 0.24 macro‑F1만큼 과대평가할 수 있다. 우리는 향후 IDS 연구에서 누수‑없는 분할, 명시적인 패딩 공개, 시퀀스‑인식 벤치마크를 표준 실천으로 권장한다. 코드와 구현 상세는 https://github.com/zachmocz/temporal-ids-bench 에서 확인할 수 있다.
주요 기여
이 논문은 다음 분야의 연구를 제시한다:
- cs.CR
- cs.LG
방법론
자세한 방법론은 전체 논문을 참고하시기 바랍니다.
실용적 함의
본 연구는 cs.CR 분야의 발전에 기여한다.
저자
- Zach Moczkodan
- Hany Ragab
논문 정보
- arXiv ID: 2606.11098v1
- Categories: cs.CR, cs.LG
- Published: 2026년 6월 9일
- PDF: Download PDF