출처: Dev.to

메모리 기반 AI 에이전트를 통한 사기 조사 강화

전통적인 사기 탐지 시스템은 의심스러운 거래를 식별하는 데 뛰어나지만, 한 가지 큰 한계가 있습니다:
기억을 하지 못한다는 점입니다.
각 거래는 새롭게 발생한 사건으로 취급됩니다. 모델이 점수를 생성하고, 분석가가 사건을 검토한 뒤 조사가 완료되면, 그 과정에서 얻은 모든 귀중한 지식은 사라집니다.

여러 사기 탐지 시스템을 구축하면서 나는 가장 큰 문제가 모델 정확도가 아니라 메모리 부족이라는 것을 깨달았습니다.
그래서 나는 모든 조사에서 학습하는 금융 위험 인텔리전스 에이전트를 만들었습니다.

위험 점수에만 의존하는 대신, 시스템은 권고를 내리기 전에 유사한 과거 조사를 검색해 에이전트가 과거 경험을 바탕으로 추론하도록 합니다.

전형적인 사기 탐지 워크플로우

거래 → ML 모델 → 위험 점수 → 알림 → 분석가 검토 → 사건 종료

이 접근법은 알려진 패턴을 탐지하는 데는 효과적이지만, 중요한 점을 무시합니다:
경험 많은 사기 조사관은 점수만으로 결정을 내리지 않는다는 점입니다.

그들은 다음과 같은 질문을 합니다:

• 이 패턴을 이전에 본 적이 있는가?
• 확정된 사기였는가?
• 거짓 양성(False Positive)였는가?
• 어떤 조치가 사건을 해결했는가?
• 가장 중요한 지표는 무엇이었는가?

전통 시스템은 메모리가 없기 때문에 이러한 질문에 답할 수 없습니다.

점수를 묻는 대신:

“이 거래는 얼마나 위험한가?”

시스템은 이렇게 묻습니다:

“이와 유사한 사례를 본 적이 있나요? 그때 우리는 무엇을 배웠나요?”

이 작은 전환이 사기 탐지기를 인텔리전스 시스템으로 바꿉니다.

솔루션은 네 개의 레이어로 구성됩니다

1️⃣ 거래 특성 추출 레이어

다음과 같은 특성을 추출합니다:

• 거래 금액
• 지리적 위치
• 디바이스 지문
• 가맹점 카테고리
• 거래 시점

이 특성들은 조사를 위한 컨텍스트를 제공합니다.

2️⃣ 머신러닝 모델 레이어

추출된 특성을 모델에 입력하면 다음을 생성합니다:

• 위험 점수
• 위험 카테고리
• 신뢰도

예시)

• 위험 점수: 77%
• 카테고리: 고위험
• 신뢰도: 91%

이는 대부분의 사기 탐지 시스템에 존재하는 표준 컴포넌트입니다.

3️⃣ 메모리 레이어 (핵심 차별점)

원시 거래 데이터를 저장하는 대신, 조사 결과와 교훈을 저장합니다. 각 메모리는 다음을 포함합니다:

• 사기 유형
• 거래 특성
• 위험 지표
• 분석가 결정
• 조사 요약
• 해결 단계
• 최종 결과

새 거래가 들어오면 시스템은 의미론적 유사도 검색을 수행해 가장 관련성 높은 과거 조사를 찾아냅니다. 에이전트는 추천을 내리기 전에 이 컨텍스트를 받습니다.

4️⃣ AI 에이전트 레이어

에이전트는 다음을 결합합니다:

• 현재 거래 데이터
• 위험 점수
• 역사적 메모리

그 후 추론과 권고가 포함된 완전한 조사 보고서를 생성합니다. 단순히 숫자를 제시하는 것이 아니라 실행 가능한 인텔리전스를 제공합니다.

예시)

• 금액: ₹475,000
• 위치: 두바이
• 유형: 전신 송금
• 시간: 새벽 01:45

Model Output
Risk Score: 72%
Confidence: 91%

메모리가 없으면 조사는 여기서 끝납니다. 분석가는 단순히 “고위험 거래”라는 결과만 보게 됩니다.

하지만 메모리를 활용하면 시스템은 다음을 검색합니다:

• 3건의 확정 사기 사례
• 1건의 유사한 거짓 양성 사례

거짓 양성 사례는 고객이 여행 알림을 활성화해 두었던 경우였습니다.

에이전트는 이제 이렇게 권고합니다:

“위험 점수: 72%. 이 거래 프로필과 일치하는 확정 사기 사례 3건이 있습니다. 유사한 거짓 양성 사례 1건은 여행 알림이 활성화돼 있었기 때문입니다. 거래를 일시 정지하고 여행 기록을 확인한 뒤 고객에게 연락하십시오.”

동일한 모델이지만 조사 품질은 완전히 달라집니다.

피드백 루프가 핵심

1️⃣ 거래 도착
2️⃣ ML 모델이 위험 점수 생성
3️⃣ 메모리 레이어가 유사 과거 조사 검색
4️⃣ AI 에이전트가 컨텍스트 기반 조사 보고서 작성
5️⃣ 분석가가 결과 확인
6️⃣ 결과를 메모리에 기록

완료된 모든 조사는 향후 조사를 위한 학습 데이터가 됩니다. 시스템은 경험을 통해 지속적으로 개선됩니다.

개선 효과

• 정확도뿐 아니라 전체 시스템 행동이 변화
• 위험 점수에만 의존 → 일반적인 권고만 제공 → 설명 가능성 낮음 → 분석가 신뢰도 저조

메모리 적용 후

• 과거 사례를 인용한 근거 기반 권고
• 거짓 양성 처리 개선
• 더 풍부한 맥락 추론
• 분석가 신뢰도 상승

가장 큰 차이는 신뢰였습니다. 분석가들은 단일 퍼센트 점수보다 이전 사례에 기반한 권고를 더 기꺼이 따랐습니다. 모델 정확도의 작은 향상보다 역사적 맥락을 추가하는 것이 훨씬 큰 영향을 줍니다.

경험이 중요합니다. 모든 조사는 귀중한 정보를 담고 있습니다. 메모리 레이어는 분석가의 결정을 재사용 가능한 조직 인텔리전스로 전환합니다. 사람들은 자신의 추론을 설명할 수 있는 시스템을 신뢰합니다. 근거 기반 권고는 블랙박스 예측보다 뛰어납니다.

완료된 조사는 미래 조사를 개선하고, 시스템은 시간이 지날수록 더 유용해집니다. 정적인 모델은 새로운 공격 패턴에 취약하지만, 메모리는 새로 확인된 사례를 빠르게 학습하게 해 줍니다.

앞으로 탐구하고 싶은 개선점

• 시간 가중 메모리 감소
• 사기 카테고리별 특화 메모리 저장소
• 다중 에이전트 조사 워크플로우
• 신뢰도 기반 메모리 순위 매기기
• 그래프 기반 관계 분석

마무리 생각

머신러닝 모델은 이상 탐지에 뛰어나지만, 이상 자체는 인텔리전스가 아닙니다. 탐지를 조사가 되게 하는 것은 메모리입니다. 머신러닝, 검색 시스템, 분석가 피드백 루프를 결합하면 경험 많은 조사관이 축적된 경험을 통해 배우는 방식과 같은 AI 시스템을 만들 수 있습니다.

금융 인텔리전스의 미래는 단순히 더 좋은 모델이 아니라, 기억하는 시스템입니다. 데이터만이 아니라 경험에서 배우는 AI 시스템을 구축하는 것이 핵심입니다.