이상 탐지 기법을 이용한 금융 사기 탐지

Source: Dev.to

Introduction

금융 사기 탐지는 은행 및 핀테크 산업에서 머신러닝의 가장 중요한 적용 분야 중 하나입니다. 최근 추정에 따르면 사기 거래만으로도 전 세계 경제에 매년 수십억 달러의 손실을 초래하고 있습니다. 이번 Mastering Financial Data Science with Kaggle 시리즈의 다섯 번째 에피소드에서는, 고도로 불균형한 데이터셋에서 사기 거래를 식별하도록 설계된 이상 탐지 기법에 대해 깊이 있게 살펴보겠습니다. 이전 에피소드에서는 시계열 데이터에 대한 피처 엔지니어링과 신용 위험 모델 구축을 다루었습니다. 이제 그 기반을 활용해 수백만 건의 정상 거래 속에서 드물게 발생하는 사기 사건을 탐지하는 금융 ML의 가장 어려운 문제 중 하나에 도전합니다.

Understanding the Fraud Detection Challenge

The Imbalanced Data Problem

신용카드 사기 탐지는 고유한 문제인 클래스 불균형을 안고 있습니다. 실제 데이터셋에서는 사기 거래가 전체 거래의 0.1 % 미만에서 2 % 정도에 불과합니다. 이러한 극심한 불균형은 여러 문제를 야기합니다: 표준 분류 알고리즘은 전체 정확도를 최적화하는데, 이는 다수 클래스(비사기)를 단순히 예측함으로써 99 % 이상의 정확도를 달성할 수 있기 때문입니다.