작은 AI 에이전트가 재무팀처럼 일할 수 있을까? 직접 해봤다.

Source: Dev.to

Developing Invoice Shield

Creating an AI Workflow from a Boring Finance Task

인보이스 작업을 해본 적이 있다면 그 고통을 알 것입니다: 긴 근무 시간, 반복적인 검토, 그리고 사소한 실수가 큰 재정 손실로 이어질 수 있다는 지속적인 우려. 사람들을 지치게 하는 노동이지만, 어쩐지 기계에게는 이상적인 작업처럼 보입니다.

“또 다른 챗봇”을 만드는 대신, 저는 단순히 이야기를 나누는 수준을 넘어서는 무언가를 만들고 싶었습니다. 그래서 Invoice Shield가 시작되었습니다—작은, 전문화된 AI 에이전트 팀이 사람처럼 금융 워크플로우의 일부를 관리할 수 있는지 실험해 보기 위한 프로젝트입니다. 완벽하진 않지만, 지능적으로 작동합니다.

The Real Function of Invoice Shield

1. Invoice Shield라는 작은 다중‑에이전트 시스템이 금융 팀을 모방합니다.
2. 하나의 에이전트가 들어오는 인보이스 데이터를 정리합니다.
3. 또 다른 에이전트가 잠재적인 사기 트렌드를 조사합니다.
4. 네 번째 에이전트가 각 인보이스가 얼마나 의심스러운지 평가합니다.
5. 다섯 번째 에이전트가 점수의 신뢰성을 검증합니다.
6. 여섯 번째 에이전트가 보고서를 작성합니다.
7. 일곱 번째 에이전트가 요약을 전달합니다.
8. 모든 단계는 순서대로 실행되는 “매니저 에이전트”에 의해 조정됩니다.
9. 시스템은 이론이나 철학을 논의하지 않습니다; 단순히 일을 수행합니다.
10. 작업이 지저분하거나 예측 불가능할 때도 작동합니다.

Reasons for Selecting Agents Instead of One Big Model

“이 인보이스를 분석해라”라고 단일 모델에 말할 수 있지만, 그 경우 모호한 응답과 착각이 자주 발생합니다. 실제 세계에서는 질문 하나와 답변 하나만 있는 경우는 드물고, 반복, 검증, 인계가 이루어지는 팀 작업과 비슷합니다.

그래서 저는 행동을 명확히 구분된, 목표 지향적인 역할들로 나누었습니다:

• Investigator – 사기 트렌드를 조사합니다.
• Scorer – 인보이스의 의심스러움을 평가합니다.
• Validator – 점수의 신뢰성을 확인합니다.
• Reporter – 최종 보고서를 작성합니다.

에이전트들은 서로 대화하면서 “AI가 질문에 답한다”는 느낌보다는 “AI가 절차를 수행한다”는 느낌을 줍니다.

The Most Interesting Part: Learning to Loop

사기 탐지 컴포넌트가 가장 재미있었습니다. 에이전트는 인보이스를 여러 번 평가하면서 각 단계마다 평가를 수정합니다. 다른 “체크 에이전트”가 만족할 때까지 경고를 발생시키지 않습니다.

• 때때로 점수가 낮아 시스템이 조용히 다시 시도합니다.
• 가끔은 “여기 뭔가 심각하게 잘못됐다”라고 판단합니다.

컴퓨터가 스스로를 의심하고, 다시 시도하고, 확신이 설 때만 에스컬레이션하는 모습은 이상하게 인간적입니다. 통계적으로 정확하진 않지만, 워크플로우 관점에서는 그럴듯합니다.

What I Learned Building This

• 좋은 AI 시스템은 하나의 거대한 모델보다 여러 간단한 구성 요소가 함께 작동하는 경우가 많습니다.
• 어려운 판단을 할 때는 즉각적인 명확성보다 반복이 더 바람직합니다.
• 에이전트가 전문화될수록 결과가 더 명확하고 이해하기 쉬워집니다.
• 외부 데이터(예: Google Search)를 활용해 결정을 근거 있게 하면 자신감 있는 무의미한 답변을 피할 수 있습니다.
• 복잡한 활동에 복잡한 코드가 필요한 것이 아니라, 똑똑한 구조가 필요합니다.

The Result: More Than Just a Score

파이프라인이 끝날 무렵, Invoice Shield는 무슨 일이 일어났는지, 왜 인보이스가 의심스러운지, 다음에 어떤 조치를 취해야 하는지를 간결히 설명합니다. 완벽한 사기 탐지기라고 주장하지는 않습니다.

What Comes Next

현재 시스템은 시뮬레이션 단계이며—은행도, PDF도, 실제 돈도 없습니다. 하지만 프레임워크는 다음을 위해 준비되어 있습니다:

• 인보이스 OCR 스캔
• 실제 공급업체 데이터베이스와의 통합
• SQL 기반 조정 지원
• PDF 사례 보고서

누군가 이를 실제 운영 환경에 적용하고 싶다면, 아키텍처를 바꿀 필요는 없고 입력만 교체하면 됩니다. 그게 바로 멋진 점입니다.

Why This Matters

“AI가 일자리를 대체한다”는 이야기를 많이 듣습니다. 흥미로운 미래는 AI가 팀에 합류해 지루하고 반복적인 작업을 담당하고, 사람들은 전략적이고 창의적인 일에 집중할 수 있게 되는 것입니다. Invoice Shield는 작고, 다듬어지지 않았으며, 실험적이지만 그 영역을 엿볼 수 있게 해줍니다. AI가 단순히 질문‑답변 도구가 아니라 협업 팀원으로서 효과적일 수 있음을 보여줍니다.

Code

The entire system is available here if you are interested: https://github.com/MilindGarge07/InvoiceShield