[논문] FAME: 메시지 수준 로그 이상 탐지를 위한 실패 인식 혼합 전문가 모델

Source: arXiv - 2605.22779v1

개요

이 논문은 FAME(Failure‑Aware Mixture‑of‑Experts)라는 새로운 프레임워크를 소개한다. FAME는 대규모 운영 로그에 대해 세밀한 메시지‑단위 이상 탐지를 제공하면서도 인간이 라벨링해야 하는 작업량을 최소화한다. 한 번의 대형 언어 모델(LLM) 실행과 가벼운 온‑프레미스 전문가들을巧妙하게 결합함으로써, FAME는 실패를 알리는 정확한 로그 라인을 pinpoint하고 어느 서브시스템(실패 도메인)이 원인인지까지 알려준다.

핵심 기여

• 라벨 효율 파이프라인 – 템플릿당 최대 K개의 수동 라벨링 로그 라인만 필요(예: K = 100). 기존 방법에 비해 라벨링 작업량을 최대 76배 절감한다.
• LLM 기반 도메인 분할 – 오프라인 LLM 한 번 실행으로 로그 템플릿을 실패 도메인(의미적으로 연관된 이벤트 군)으로 나눈다.
• 인증된 Mixture‑of‑Experts 아키텍처 – 가벼운 라우터가 들어오는 각 라인의 적절한 도메인‑전문가를 선택한다; 각 전문가는 실시간으로 온‑프레미스에서 동작하는 작은 분류기이다.
• 메시지‑단위 탐지 – 거친 세션/윈도우 알림에서 라인‑단위 이상 점수로 이동해 운영자가 처리해야 할 잡음을 크게 감소시킨다.
• 강력한 실험 성능 – 공개 BGL 데이터셋에서 FAME는 F1 = 98.16(K = 100)이며, 이전에 보지 못한 EventID 중 **86.3 %**를 탐지한다; Thunderbird 데이터셋에서는 완벽한 재현율과 함께 F1 = 99.95를 기록한다.

방법론

1. 템플릿 추출 – 로그를 먼저 템플릿(정적 부분)과 변수(동적 값)로 파싱한다.
2. 희소 수동 라벨링 – 각 템플릿마다 분석가가 최대 K개의 대표 라인을 정상 또는 이상으로 라벨링한다. 이를 통해 작지만 고품질의 학습 데이터를 만든다.
3. LLM 기반 도메인 탐색 – LLM(예: GPT‑4)에 템플릿 집합과 소수의 라벨링 예시를 제공한다. LLM은 템플릿을 실패 도메인(예: “인증”, “디스크 I/O”, “네트워크”)으로 분할하는 제안을 만든다.
4. 인증 단계 – LLM이 만든 분할을 채택하기 전에, 통계 검증을 통해 각 도메인에 충분한 신호(예: 라벨링된 이상 사례)가 존재해 신뢰할 수 있는 전문가를 학습할 수 있는지를 확인한다.
5. Mixture‑of‑Experts 학습
   • 라우터 – 작은 다중 클래스 분류기가 새로운 로그 라인의 템플릿(및 선택적 변수 특징)을 인증된 도메인 중 하나에 매핑하도록 학습한다.
   • 도메인 전문가 – 각 도메인마다 이진 분류기(보통 얕은 신경망이나 로지스틱 회귀)를 희소 라벨링 데이터에 대해 학습시켜 정상/이상 확률을 출력한다.
6. 온라인 추론 – 실행 시 라우터가 적절한 전문가를 선택하고, 해당 전문가는 이상 점수와 도메인 라벨을 반환한다. 모니터링 중에 LLM 호출은 전혀 필요하지 않다.

전체 파이프라인은 온‑프레미스에서 동작하도록 설계돼, 생산 환경에서 흔히 요구되는 지연 시간 및 데이터 프라이버시 제약을 만족한다.

결과 및 발견

• 라벨링 효율 – 모든 라인을 라벨링하는 기존 베이스라인에 비해 FAME는 ~76배 적은 수작업으로 거의 완벽에 가까운 탐지를 구현한다.
• 일반화 능력 – 도메인‑수준 추상화를 LLM이 학습했기 때문에, 새롭게 등장한 EventID(이전에 보지 못한 템플릿)에도 이상을 감지할 수 있다.
• 런타임 성능 – 라우터와 전문가 추론은 라인당 몇 마이크로초에 불과해, 하루에 수백만 건의 로그를 지속적으로 모니터링하는 것이 가능하다.

실용적 시사점

• 빠른 사고 대응 – 운영자는 정확히 문제를 일으킨 로그 라인과 그 실패 도메인을 함께 알림받아, “triage” 시간을 분에서 초로 단축할 수 있다.
• 확장 가능한 라벨링 – 팀은 템플릿당 소수의 라벨링 예시만으로 고품질 이상 탐지기를 부팅스트랩할 수 있어, 전체 로그 라벨링 프로젝트에 드는 비용을 크게 절감한다.
• 온‑프레미스 배포 – 무거운 LLM 작업은 오프라인에서만 수행되므로, 데이터 프라이버시 정책을 준수하면서 기존 SIEM·관측 스택에 클라우드 의존 없이 통합할 수 있다.
• 도메인 인식 알림 – 실패 도메인을 함께 제공함으로써, 자동 복구 스크립트 등 하위 자동화가 보다 지능적으로 트리거될 수 있다(예: 인증 도메인이 활성화되면 인증 서비스 재시작).
• 벤더 중립 – Drain, Spell 등 어떤 로그 파싱 도구와도, 어떤 경량 분류기와도 결합 가능해 현재 DevOps 파이프라인에 손쉽게 플러그인할 수 있다.

제한점 및 향후 연구

• LLM 품질 의존 – 초기 도메인 분할은 LLM이 템플릿 의미를 얼마나 잘 이해하느냐에 달려 있다; 프롬프트가 부실하거나 모델 성능이 낮으면 서브optimal한 도메인이 생성될 수 있다.
• 정적인 도메인 집합 – 인증이 완료된 도메인은 고정된다. 시스템이 진화하면 주기적인 재학습이나 점진적 업데이트가 필요하다.
• 희소 라벨링 가정 – K = 100이 평가된 데이터셋에서는 잘 작동하지만, 템플릿 수가 수천 개에 달하는 매우 이질적인 로그에서는 여전히 더 많은 수작업 라벨링이 요구될 수 있다.
• 향후 방향 – 저자들이 제시한 연구 과제로는 (1) 전문가들을 실시간으로 적응시키는 지속 학습 탐색, (2) 통계 학습 이론 보장을 이용한 인증 단계 자동화, (3) 멀티모달 텔레메트리(예: 메트릭 + 트레이스)로 확장해 보다 풍부한 실패 진단을 제공하는 것이 있다.

저자

• Huanchi Wang
• Zihang Huang
• Yifang Tian
• Kristina Dzeparoska
• Hans‑Arno Jacobsen
• Alberto Leon‑Garcia

논문 정보

• arXiv ID: 2605.22779v1
• 분류: cs.SE, cs.LG
• 발표일: 2026년 5월 21일
• PDF: Download PDF