프로덕션 에이전트에서 메모리 드리프트를 감지하는 방법

Source: Dev.to

프로덕션 환경에서 AI 에이전트를 운영하면서 메모리 드리프트를 명시적으로 추적하지 않으면, 눈을 가리고 날아다니는 겁니다.
드리프트는 메모리 시스템이 서서히 현실과 맞지 않게 될 때 발생합니다:

• 검색이 오래된 정책을 계속 끌어냄
• 저장소가 사용되지 않는 잡음으로 가득 참
• 데이터 분포가 변하면서 임베딩의 대비가 사라짐
• 프루닝이 좋은 것을 제거하고 쓰레기만 남김

대부분의 팀은 프롬프트를 디버깅하고 모델을 조정하지만 실제 문제는 아키텍처에 있습니다. 이 글에서는 구체적인 지표를 사용해 메모리 드리프트를 감지하는 방법을 보여줍니다.

메모리 룸별 드리프트 패턴

핵심은 이를 단순한 느낌이 아니라 메트릭으로 가시화하는 것입니다.

메트릭 세트

인코딩 메트릭

• embedding_variance: 슬라이딩 윈도우에서 임베딩 차원의 분산
• cluster_separation: 서로 다른 레이블 클러스터 간 평균 거리

스토리지 메트릭

• store_size: 메모리 내 아이템 수
• retrieval_coverage: 저장된 아이템 중 실제로 검색된 비율

검색 메트릭

• retrieval_precision: 검색된 아이템 중 관련성이 있다고 판단된 비율
• retrieval_staleness: 검색된 아이템 중 오래된 비율

관리 메트릭

• prune_misses: 삭제되어야 했지만 삭제되지 않은 아이템
• prune_regrets: 삭제되었지만 나중에 필요해진 아이템

DriftMetrics 클래스 (Python)

class DriftMetrics:
    def __init__(self):
        self._retrieval_events = []
        self._prune_events = []

    def log_retrieval(self, query, results, relevant_ids, stale_ids):
        self._retrieval_events.append({
            "results": set(r.id for r in results),
            "relevant": set(relevant_ids),
            "stale": set(stale_ids),
        })

    def log_prune(self, item_id, was_useful_later: bool):
        self._prune_events.append({"id": item_id, "regret": was_useful_later})

    def retrieval_precision(self) -> float:
        if not self._retrieval_events:
            return 1.0
        hits = sum(len(e["results"] & e["relevant"]) for e in self._retrieval_events)
        total = sum(len(e["results"]) or 1 for e in self._retrieval_events)
        return hits / total

    def retrieval_staleness(self) -> float:
        if not self._retrieval_events:
            return 0.0
        stale = sum(len(e["results"] & e["stale"]) for e in self._retrieval_events)
        total = sum(len(e["results"]) or 1 for e in self._retrieval_events)
        return stale / total

    def prune_regret_rate(self) -> float:
        if not self._prune_events:
            return 0.0
        return sum(1 for e in self._prune_events if e["regret"]) / len(self._prune_events)

알림 로직 (Python)

def check_drift_alerts(memory, metrics: DriftMetrics):
    alerts = []

    if memory.size() > 1_000_000:
        alerts.append("Storage overgrowth")

    if metrics.retrieval_precision()  0.2:
        alerts.append("Stale content dominating retrieval")

    if metrics.prune_regret_rate() > 0.1:
        alerts.append("Aggressive pruning causing regret")

    return alerts

이러한 알림을 모니터링 스택(로그, 대시보드, PagerDuty, Slack 등)에 전달하세요.

드리프트 유형별 대응 조치

감지만으로는 충분하지 않습니다—“드리프트를 감지했다”에서 “아키텍처를 진화시킨다”로 가는 명확한 경로가 필요합니다.

결론

메모리 드리프트는 에이전트 행동에 영향을 미칩니다. 메모리 레이어를 일급 구성 요소로 다루고, 이를 관찰 가능하게 만들며, 구체적인 메트릭과 자동 알림으로 루프를 닫으세요.

References

• Why Memory Architecture Matters More Than Your Model – 개념적 기반
• The Two Loops, The Four Rooms of Memory, and The Drift and the Discipline – 전체 프레임워크 (Substack)