[Paper] NSL-KDD에서 $β$-VAE를 이용한 비지도 이상 탐지: 잠재 공간 및 재구성 오류 접근법

Source: arXiv - 2602.19785v1

개요

이 논문은 β‑Variational Autoencoders (β‑VAEs) 를 사용하여 고전적인 NSL‑KDD 네트워크‑트래픽 벤치마크에서 비지도 침입 탐지 를 수행하는 방법을 조사한다. 잠재‑공간 기하학 과 재구성 오류 를 모두 탐색함으로써, 저자들은 잘‑조정된 β‑VAE가 라벨이 지정된 공격 데이터 없이도 이상 트래픽을 표시할 수 있음을 보여준다—이는 새로운 위협이 지속적으로 등장하는 현대 OT‑IT 환경에 매력적인 전망이다.

주요 기여

• Dual‑metric anomaly detection: 두 가지 보완적인 비지도 점수 체계를 도입합니다—(1) 학습된 잠재 공간에서의 거리 기반 점수, (2) 전통적인 재구성 오류 점수.
• β‑VAE adaptation for network data: β 하이퍼파라미터(재구성 정확도와 잠재 분리 사이의 트레이드오프를 제어)를 조정하면 정상 흐름과 악성 흐름의 구분성이 크게 향상됨을 보여줍니다.
• Empirical comparison on NSL‑KDD: 두 메트릭 간의 트레이드오프(정밀도, 재현율, ROC‑AUC)를 정량화하는 철저한 실험 평가를 제공합니다.
• Insightful analysis of latent representations: 정상 트래픽이 밀집된 클러스터를 형성하고 공격은 흩어지는 모습을 시각화하여, 잠재 거리가 강력한 이상 지표라는 가설을 뒷받침합니다.
• Open‑source implementation: 코드와 학습된 모델을 공개하여 재현 가능성과 보안 팀을 위한 빠른 프로토타이핑을 가능하게 합니다.

Methodology

1. Data preprocessing – NSL‑KDD 데이터셋은 먼저 범주형 필드를 원‑핫 인코딩하고 정규화합니다. 학습 중에는 공격 레이블을 사용하지 않으며, “normal” 서브셋만 모델에 제공됩니다.
2. β‑VAE architecture – 대칭적인 인코더/디코더 네트워크(완전 연결 레이어)로 122‑차원 입력을 저차원 잠재 벡터(보통 2‑10 차원)로 매핑합니다. 손실은 다음을 결합합니다:
   • Reconstruction term (binary cross‑entropy) – 디코더가 원본 패킷 특성을 재구성하도록 강제합니다.
   • KL‑divergence term – β로 곱해져 보다 부드럽고 분리된 잠재 공간을 장려합니다.
3. Scoring mechanisms
   • Latent‑space distance: 각 테스트 샘플에 대해 잠재 임베딩을 계산하고 가장 가까운 학습 임베딩(또는 정상 임베딩의 중심)까지의 유클리드 거리를 측정합니다. 거리가 클수록 이상치일 가능성이 높습니다.
   • Reconstruction error: 샘플별 재구성 손실을 계산합니다. 손실이 크면 모델이 입력을 제대로 표현하지 못했음을 의미하며, 이를 이상치로 표시합니다.
4. Threshold selection – 비지도 설정에서는 정상 데이터의 검증 분할(예: 95번째 백분위수)을 사용해 임계값을 설정하여 false‑positive 비율을 제어합니다.
5. Evaluation – 학습은 비지도 방식이지만, 저자들은 이후 NSL‑KDD의 알려진 공격 레이블에 점수를 매핑하여 표준 지표(AUC, F1)를 계산합니다.

결과 및 발견

• Latent‑space distance가 reconstruction error보다 일관되게 더 좋은 성능을 보이며, 특히 정상 클러스터와 멀리 떨어진 임베딩을 생성하는 저빈도 공격 유형에서 두드러집니다.
• β 튜닝이 중요합니다: β ≈ 4가 최적의 트레이드‑오프를 제공하며, 낮은 β 값은 과적합(잠재 공간 붕괴)을 일으키고, 너무 높은 β 값은 재구성 품질을 저하시킵니다.
• 시각화(잠재 벡터의 t‑SNE)에서는 “정상” 클라우드가 촘촘히 모여 있고 공격은 뚜렷한 이상치로 나타나, 거리 기반 점수에 대한 직관을 확인시켜 줍니다.

실용적 시사점

• Plug‑and‑play anomaly detector: 보안 엔지니어는 정상 트래픽 로그만으로 학습된 β‑VAE를 배포할 수 있으며, 모델은 비용이 많이 드는 시그니처 업데이트 없이 새로운 악성 패턴을 자동으로 표시합니다.
• Lightweight inference: 한 번 학습되면 인코더만으로도 잠재 임베딩과 거리 점수를 계산할 수 있어, 엣지 디바이스나 네트워크 장비에서 실시간 탐지가 가능해집니다.
• Explainability boost: 거리 점수를 시각화(예: 잠재 클러스터의 히트맵)할 수 있어, SOC 분석가가 정상 행동과 실제로 “멀리” 떨어진 알림을 우선순위화하는 데 도움이 됩니다.
• Hybrid systems: 이 접근법은 감독 학습 분류기와 결합할 수 있습니다—잠재 임베딩을 하위 감독 모델의 특징으로 사용하여 알려진 공격 탐지를 향상시키면서 제로데이 위협에 대한 비감독 커버리지를 유지합니다.
• Domain transfer: β‑VAE는 트래픽 패턴의 일반적인 표현을 학습하기 때문에, 동일한 모델을 다른 데이터셋(예: CIC‑IDS2017)에서 최소한의 라벨 데이터로 미세 조정할 수 있습니다.

제한 사항 및 향후 연구

• 데이터셋 편향: NSL‑KDD는 오래된 벤치마크이며, 실제 트래픽은 차원이 더 높고, 암호화된 페이로드와 개념 드리프트가 존재해 모델의 견고성에 영향을 줄 수 있습니다.
• 임계값 민감도: 정적인 임계값을 선택하면 운영 환경에서 취약해질 수 있으므로, 적응형 또는 백분위 기반 임계값에 대한 추가 연구가 필요합니다.
• 거리 계산의 확장성: 대규모 학습 세트에서는 잠재 공간에서의 최근접 이웃 탐색 비용이 크게 증가합니다. 이를 완화하기 위해 FAISS와 같은 근사 방법이나 학습된 밀도 추정기를 활용할 수 있습니다.
• 설명 가능성 깊이: 거리 기반 점수는 거친 이상치 점수를 제공하지만, 어떤 특징이 이상을 유발했는지 정확히 파악하는 것은 아직 해결되지 않은 과제입니다.
• 향후 방향: 저자들은 β‑VAE 기반 대조 학습, 시간적 동역학 통합(예: 순환 VAE) 및 실시간 네트워크 스트림에서의 드리프트 처리 평가 등을 탐구할 것을 제안합니다.

저자

• Dylan Baptiste
• Ramla Saddem
• Alexandre Philippot
• François Foyer

논문 정보

• arXiv ID: 2602.19785v1
• 분류: cs.LG, cs.NE, stat.ML
• 출판일: 2026년 2월 23일
• PDF: PDF 다운로드