기업 AI 에이전트, 배운 것을 잊어버려 계속 실패
Source: VentureBeat
RAG 아키텍처 – 무엇을 할 수 있고, 무엇을 할 수 없는가
RAG 아키텍처는 한 가지에 강합니다: 의미적으로 관련된 문서를 찾아내는 것.
그것이 바로 한계이기도 합니다.
Decision‑Context Graph 라는 프레임워크는 에이전트에게 다음을 제공함으로써 그 격차를 메웁니다:
- 구조화된 메모리
- 시간 인식 추론
- 명시적인 의사결정 로직
Neo4j 생태계의 스타트업 Rippletide가 이를 구현했습니다. 핵심 역량: 퇴보하지 않는 에이전트로, 검증된 행동 시퀀스를 고정하고 시간이 지나도 이를 누적할 수 있습니다.
“핵심은 비퇴보성입니다: 에이전트가 새로운 것을 생성할 때, 이전에 발견한 것을 어떻게 누적할 수 있나요?” – Yann Bilien, 공동 설립자 겸 CSO, Rippletide
왜 RAG만으로는 충분하지 않은가
기업 환경은 ERP 도구, 로그, 데이터베이스, 벡터 스토어, 정책 문서 등으로 흩어져 있습니다. 생성형 AI 도구는 키워드 검색, SQL 쿼리, 전체 RAG 파이프라인 등을 통해 이 모든 곳에서 정보를 가져올 수 있지만, 검색에는 한계가 있습니다.
- 검색된 데이터가 현재 의사결정과 무관할 수 있어(그 결과 환각이 발생)
- 에이전트가 올바른 데이터를 끌어오더라도, 강력한 근거가 뒷받침된 의사결정을 내릴 가이드가 부족합니다.
“모두가 RAG부터 시작합니다: 관련 문서를 끌어와 프롬프트에 넣고, 모델이 스스로 판단하게 하죠.” – Wyatt Mayham, Northwest AI Consulting
그 방식은 챗봇에는 괜찮지만, “결정을 내리고 행동을 취해야 하는 에이전트에게는 즉시 붕괴됩니다.” 라고 그는 지적했습니다.
“제작자들이 가장 많이 겪는 문제는 검색과 적용 가능성 사이의 격차입니다.” – Mayham
검색된 문서는 에이전트에게 해당 문서가 아직 유효한지, 대체되었는지, 혹은 우선순위가 높은 충돌 규칙이 있는지를 알려주지 못합니다.
“에이전트는 정보가 아니라 결정 컨텍스트가 필요합니다.” – Mayham
예를 들어 건설 현장(인간 세계)에서는 다음을 알아야 할 수도 있습니다:
- 가격 예외가 만료되었음
- 안전 정책이 특정 관할 구역에만 적용됨
- 표준 운영 절차가 한 달 전에 업데이트됨
“이 중 하나라도 놓치면, 에이전트는 자신 있게 잘못된 행동을 합니다.” – Mayham
구조화된 결정 컨텍스트가 없으면 에이전트는:
- 서로 충돌하는 규칙을 결합하고
- 빈틈을 메우기 위해 제약을 만들어내며
- Bilien이 말한 **“무한 데이터에 대한 확률적 추측”**에 의존합니다.
오류는 재현하기 어렵습니다. 왜냐하면 제작자는 에이전트가 특정 선택을 한 이유를 추적할 수 없기 때문입니다.
누적 오류 문제도 현실적입니다: 단계당 작은 실수율이 다단계 워크플로우에서는 “재앙적인” 결과를 초래합니다.
“이것이 대부분의 기업용 에이전트가 파일럿 단계에서 머무는 주된 이유입니다.” – Mayham
Decision‑Context Graph가 적절한 답을 찾는 방식
Decision‑Context Graph는 적용 가능한 것, 규칙, 적용 시점을 구조화된 지도 형태로 인코딩함으로써 이를 해결합니다. 이 프레임워크는 한 가지 질문에 최적화되어 있습니다:
“현재 상황에서 어떤 컨텍스트가 적용되는가?”
시간은 1급 차원으로 다루어집니다; 모든 규칙, 결정, 예외는 언제 유효한지에 따라 범위가 지정됩니다.
“그래프를 구축할 때 누락되었거나, 일관되지 않거나, 모순되는 데이터를 명시적으로 다루어 에이전트가 실행 중에 확률적 오류를 일으키지 않게 하는 것이 목표입니다.” – Bilien
핵심 원칙
- 적용 가능성 – 로직을 명시적으로 인코딩해 에이전트가 특정 상황에서 어떤 규칙을 기억하고 적용해야 하는지 알 수 있게 합니다. 컨텍스트는 실제로 관련 있을 때만 반환됩니다.
- 시간 인식 메모리 – 모든 규칙, 결정, 예외에 시간 범위를 부여합니다. 이를 통해 에이전트는 “그때는 어땠고 지금은 어땠는가”를 판단하고, 자신의 결정을 재현하거나 설명할 수 있습니다.
- 결정 경로 – 시스템은 A에서 B로 이동한 과정과 그 이유(예: 왜 특정 컨텍스트는 포함되고 다른 것은 제외됐는지)를 설명할 수 있습니다. 에이전트는 유사 사례가 과거에 어떻게 처리됐는지에 대한 “결정 경로” 예시를 받습니다.
설정 단계에서 비정형 데이터를 수집해 온톨로지(엔터티, 적용 규칙, 예외 등)로 구조화합니다. 신경‑상징 AI가 패턴 인식을 담당하고, 이를 형식화된 기계 읽기 가능한 로직으로 인코딩합니다. 시간이 지나면서 새로운 결정이 내려질 때마다 시스템은 지식 베이스를 지속적으로 정제합니다.
“신경‑상징은 두 부분을 결합합니다: 신경망 부분은 에이전트에 큰 자율성을 부여하고, 상징 부분은 필요한 데이터 양을 줄이며 제어성을 제공합니다.” – Bilien
에이전트는 빌드 시점(프리‑프로덕션)에서 테스트되어 행동을 검증하거나 개선점을 찾습니다. 이는 위험을 줄이고 추론 시 계산 비용도 절감합니다.
에이전트 학습 — 퇴보가 아닌 누적
비퇴보성을 달성하기 위해 핵심은 지능(모델)과 지식(에이전트 간 공유) 모두에 누적하는 것이라고 Bilien은 말합니다.
- 탐색 – 에이전트가 작업 수행 방법을 모를 때, 통제된 환경이나 시뮬레이션(예: 지원 봇이 여러 응답 패턴을 시도)에서 다양한 가능성을 시험합니다.
- 검증된 시퀀스 고정 – 해결책이 만족스럽다고 평가되면 그래프는 그 행동 시퀀스를 고정합니다. 이후 탐색은 이 “검증된 행동의 안정된 기반”에서 시작돼 새로 습득한 기술이 기존에 학습된 좋은 행동을 덮어쓰는 일을 방지합니다.
에이전트가 고객에게 행동을 취하거나 영향을 미치기 전에 그래프와 대조합니다:
- 규칙을 위반하고 있는가?
- 환각이 발생했는가?
- 제약 조건을 벗어나지 않는가?
- 유사 사례에 해결책을 일반화할 수 있는가?
거시적인 수준에서 시스템은 결과를 평가합니다:
- 행동이 장기 성능을 향상시켰는가?
- 유사 컨텍스트 전반에 일반화되었는가?
- 이전 역량을 유지했는가?
“이 결정론적 특성이 에이전트가 대규모로 신뢰성을 유지하며 운영되는 핵심입니다.” – Bilien
그 결과 행동은 일관성, 예측 가능성, 설명 가능성이 높아지고, 제어와 감사 가능성도 강화됩니다.
“에이전트가 모르는 상황에 스스로 학습할 수 있기를 원합니다. 탐색하고 새로운 해결책을 찾을 수 있기를 원합니다.” – Bilien
정리된 마크다운 구간 끝.
“에피소드형” 메모리를 넘어선 설정
팀은 처음에 RL을 전 영역에 적용하려 했지만, “기업 환경에서는 실제로 매우 어려웠다.” 라고 Bilien은 말합니다. “특정 사용 사례에 대한 데이터는 부족하고, 다른 경우는 너무 지저분하다.”
보통 원시 데이터를 사용해 신뢰할 수 있는 예측을 만들려면 수작업과 시간이 많이 소요됐지만, “이제 에이전트를 통해 온톨로지를 자동으로 구축할 수 있는 새로운 시대에 접어들었다.” 라고 Bilien은 덧붙였습니다.
전통적인 지도 학습 기반 파인튜닝은 진동을 일으키기 쉽습니다—모델이 다음 스킬을 습득하면서 이전 스킬을 잊어버리죠. 전체적으로 학습이 누적되지 않고, 압축이 *“극단적”*이며, 모델은 *“에피소드형”*으로만 개선돼 지속적인 향상이 아니라 간헐적인 향상에 머물러 새로운 혹은 보지 못한 작업에서 반복적으로 실패합니다.
“매번 퇴보한다면 완전 자가 학습 모델은 절대 만들 수 없습니다.” – Bilien
은행처럼 매일 수백만 건의 거래가 처리되는 기업용 사례에서는 높은 신뢰성이 필수입니다. Bilien은 이렇게 강조합니다:
“고객에게 항상 묻는 질문이 있습니다: ‘95 %면 충분한가?’ 많은 경우 그렇지 않습니다. **99.999 %**가 필요합니다. 1 % 차이는 너무 큽니다.”
Decision‑Context Graph
Decision‑Context Graph는 그 격차