AI 기반 IPS 시스템이 실패하는 이유와 트래픽을 차단하지 않고 False Positives를 96% 감소시킨 방법

Source: Dev.to

번역을 원하는 텍스트를 제공해 주시면 한국어로 번역해 드리겠습니다.

Source: …

핵심 문제: IPS가 분류 작업으로 취급됨

대부분의 AI‑IPS 파이프라인은 이진 분류로 구성됩니다:

Traffic → Features → Model → {Malicious | Benign}

암묵적 가정

• 높은 신뢰도 = 적용해도 안전함
• 낮은 신뢰도 = 모델 문제

이 가정은 잘못되었습니다.

왜일까요?
네트워크 트래픽은 적대적이고, 모호하며, 비정상적입니다. 98 % 정확도의 분류기라도 다음과 같은 문제를 일으킬 수 있습니다:

• 드물지만 정상적인 트래픽 차단
• 새로운 애플리케이션 동작을 오분류
• 분포 변화 시 심각한 실패

실제 운영에서는 **오탐(false positive)**이 **오탐(false negative)**보다 더 큰 피해를 줍니다:

• 서비스 중단
• 알림 피로도 증가
• 운영자가 적용을 완전히 비활성화하도록 강요

이 때문에 많은 IPS 배포가 조용히 IDS 전용 모드로 전락합니다.

실​제​ 문제: 탐지 ≠ 결정

실수는 통계적인 것이 아니라 아키텍처적인 것입니다. 대부분의 시스템은 탐지 확신을 집행 행동에 직접 연결합니다. 실제로 “불확실한” 트래픽은 “무해한” 혹은 “악의적인” 것이 아니라 검증되지 않은 것입니다. 불확실성을 분류 실패로 취급하면 잡음이 보장됩니다.

나의 접근 방식: 분리된 단계적 검증

“이 패킷이 악성인가?” 라고 묻는 대신 문제를 “지금 얼마나 확신을 가지고 행동을 강제할 수 있는가?” 로 재구성했습니다.

고수준 아키텍처

Traffic
  ↓
Fast ML Detection Layer
  ↓
Confidence‑based Routing
  ├── High confidence → Immediate enforcement
  ├── Low confidence  → Pass‑through
  └── Ambiguous        → Dynamic honeypot / sandbox
                         ↓
                Behavioral verification
                         ↓
               Feedback to detector

핵심 변화

• 탐지는 신호를 생성한다
• 신뢰도가 충분하지 않으면 결정이 연기된다

Why Honeypots Matter (and Not as Traps)

In this system, honeypots are not passive decoys. They are verification instruments used only for ambiguous traffic, dynamically selected based on protocol and behavior.

Instead of blocking suspicious flows, I let them interact in a controlled environment, observe command patterns, persistence, retries, and payload changes, then retroactively update trust. This turns uncertainty into signal.

결과 (프로토타입 평가)

Using the UNSW‑NB15 dataset as a baseline:

지연 영향

• ML 추론: 흐름당 ~0.003–0.007 ms (배치 실행, ≈143 k 흐름/초)
• 허니팟 라우팅: 모호한 트래픽 하위 집합에만 적용되어 고신뢰 흐름은 빠른 경로에 남김
• 전체 영향: 백본 트래픽에 대한 전반적인 성능 저하가 없으며, 시행 및 검증이 주요 탐지와 분리되어 있음

핵심: 모델 출력만으로 정당한 트래픽이 차단되지 않았으며, 시행은 행동 확인 후에만 이루어짐.

왜 이것이 “Better Models”보다 더 효과적인가

I tried deeper ensembles, tighter thresholds, and extensive feature engineering. All helped marginally but did not solve the core issue. The improvement came from system design, not model tuning.

핵심 원칙

• 신호 생성을 행동과 분리한다
• 불확실성을 일급 상태로 다룬다
• 모호성을 해소하기 위해 예측이 아니라 상호작용을 사용한다

AI 보안 시스템에 대한 함의

이 패턴은 IPS를 넘어 일반화됩니다:

• 사기 탐지
• 남용 방지
• 계정 탈취 탐지
• EO/GeoAI 위험 검증

거짓 양성이 비용이 많이 드는 모든 곳에서, 탐지를 집행과 분리하는 것이 필수.

다음에 할 일

• 정적 허니팟을 적응형 서비스 에뮬레이션으로 교체
• 장기 신뢰 점수 추가
• 세션 간 행동 메모리 통합
• 규칙 기반 함정 대신 에이전트 기반 검증으로 전환

마무리 생각

AI는 보안 시스템을 실패시키지 않는다. 결합이 그렇다. 시스템이 “아직 확실하지 않다” 라고 말할 수 없으면, 결국 “모두 차단한다” 라고 말하거나 전혀 말하지 않을 것이다.