[Paper] 맥락적 의도에서 에이전트 메모리 그라운딩

Source: arXiv - 2601.10702v1

Overview

Deploying large language models (LLMs) as autonomous agents in multi‑step, goal‑driven tasks is still brittle: the same entities and facts keep popping up under different hidden goals, and the agent’s memory often pulls in the wrong piece of context. The paper “Grounding Agent Memory in Contextual Intent” introduces STITCH (Structured Intent Tracking in Contextual History), a memory‑indexing framework that tags each interaction step with a compact “intent” signal, enabling the agent to retrieve only the most relevant past experiences. The authors also release CAME‑Bench, a new benchmark for testing context‑aware retrieval in realistic, dynamic trajectories.

주요 기여

• STITCH memory system: 모든 대화/궤적 단계에 세 부분으로 구성된 맥락 의도(잠재 목표, 행동 유형, 중요한 엔터티 유형)를 결합하는 경량 인덱싱 방식.
• Intent‑driven retrieval: 추론 시점에 메모리 스니펫을 현재 단계와 의도가 얼마나 일치하는지에 따라 필터링하고 재정렬하여 “방해 요소” 증거를 크게 감소시킴.
• CAME‑Bench: 장기 목표 지향 상호작용 시퀀스를 위한 벤치마크로, 맥락 민감형 검색을 강조하며 LongMemEval과 같은 기존 스위트를 보완함.
• State‑of‑the‑art results: STITCH는 평균 **35.6 %**의 성능 향상으로 가장 강력한 베이스라인을 능가하며, 궤적 길이가 늘어날수록 격차가 커짐.
• Comprehensive analysis: 각 의도 신호 구성 요소(목표, 행동, 엔터티)가 노이즈 감소와 추론 안정성에 기여한다는 것을 보여주는 소거 실험 결과.

방법론

1. Trajectory Segmentation – 상호작용 로그를 단계별로 나눕니다 (예: “사용자에게 위치 요청”, “날씨 가져오기”).
2. Intent Extraction – 각 단계마다 세 가지 신호를 추출합니다:
   • Latent Goal – 해당 단계가 수행하는 고수준 목표 (예: 여행 계획, 문제 진단).
   • Action Type – 수행되는 작업 종류 (쿼리, 계산, 응답).
   • Entity Types – 그 단계에서 중요한 엔터티의 카테고리 (위치, 날짜, 장치).
     이러한 신호는 짧은 벡터 또는 토큰 태그로 인코딩됩니다.
3. Memory Indexing – 단계의 전체 텍스트와 의도 태그를 검색 가능한 인덱스에 저장합니다 (예: FAISS 또는 Elastic).
4. Intent‑Aware Retrieval – 에이전트가 이전 컨텍스트를 기억해야 할 때, 먼저 현재 의도와 저장된 의도를 매칭하고, 호환성이 낮은 항목을 필터링한 뒤, 남은 하위 집합에 대해 의미적 유사도 검색을 수행합니다.
5. Evaluation – 저자들은 CAME‑Bench와 LongMemEval에서 테스트를 진행하여, 검색 정밀도/재현율 및 하위 작업 성공률 (예: 올바른 계획 생성)을 측정합니다.

Results & Findings

• Retrieval Accuracy: STITCH는 CAME‑Bench에서 약 90 %의 top‑k 정밀도를 달성했으며, 이는 기존 최고 방법의 약 65 %에 비해 높은 수치입니다.
• Task Success: 장기 계획 과제에서 STITCH를 활용한 에이전트는 기본 에이전트에 비해 목표를 올바르게 완료하는 비율이 42 % 더 높습니다.
• Scalability: 성능 향상은 궤적 길이가 길어질수록 증가하며, 100 단계 이상의 시퀀스에서는 STITCH의 이점이 기본 모델 대비 45 % 이상으로 확대됩니다.
• Ablation Insights: 목표, 행동, 혹은 엔티티 중 어느 하나의 의도 구성 요소를 제거하면 성능이 8‑12 % 감소합니다. 이는 세 부분 신호가 함께 작동하여 컨텍스트를 명확히 구분한다는 것을 확인시켜 줍니다.

Practical Implications

• More Reliable AI Assistants – Voice assistants, customer‑support bots, or code‑generation agents can maintain coherent state over long conversations without “forgetting” or mixing up similar entities.
• Reduced Compute Costs – By pruning the retrieval pool early with intent filters, STITCH cuts down the number of expensive embedding similarity calculations, leading to faster response times.
• Plug‑and‑Play Integration – STITCH is model‑agnostic; it can sit on top of any LLM (GPT‑4, Claude, LLaMA) and any existing vector store, making it easy to retrofit into existing pipelines.
• Better Debugging & Auditing – The explicit intent tags provide a human‑readable trace of why a particular memory snippet was selected, aiding compliance and troubleshooting.

제한 사항 및 향후 작업

• 의도 추출 의존성 – 현재 파이프라인은 잠재 목표와 엔터티 유형에 대해 비교적 정확한 분류기를 가정합니다; 잡음이 섞인 의도 태그는 검색 성능을 저하시킬 수 있습니다.
• 도메인 일반화 – 벤치마크는 합성 또는 반구조화된 작업에 초점을 맞추고 있습니다; 매우 모호한 의도를 가진 실제 도메인(예: 자유 형식의 창작 글쓰기)에서는 보다 풍부한 의도 표현이 필요할 수 있습니다.
• 대규모 히스토리 확장성 – 의도 필터링이 후보 집합을 줄이긴 하지만, 수십억 단계의 인덱싱은 여전히 저장소와 지연 시간 문제를 야기합니다.

향후 방향으로는 LLM과 함께 의도 표현을 엔드‑투‑엔드로 학습하고, 프레임워크를 멀티모달 메모리(이미지, 코드 스니펫)로 확장하며, 초장기 계획을 위한 계층적 의도 구조를 탐구하는 것이 포함됩니다.

저자

• Ruozhen Yang
• Yucheng Jiang
• Yueqi Jiang
• Priyanka Kargupta
• Yunyi Zhang
• Jiawei Han

논문 정보

• arXiv ID: 2601.10702v1
• Categories: cs.CL, cs.AI, cs.IR
• Published: 2026년 1월 15일
• PDF: PDF 다운로드