[Paper] 잠재적 의도 추론: LLM 에이전트의 Attributional 자연어 추론

Source: arXiv - 2601.08742v1

Overview

논문 **“Inferring Latent Intentions: Attributional Natural Language Inference in LLM Agents”**는 오늘날 대형 언어 모델(LLM)에서 빠져 있는 중요한 요소, 즉 에이전트가 행동을 수행한 왜에 대한 추론 능력을 다룹니다. 단순히 무엇을 했는지에 대한 설명이 아니라, 행동의 이유를 파악하는 것입니다. 사회심리학의 아이디어와 자연어 추론(NLI)을 결합함으로써, 저자들은 새로운 프레임워크인 **Attributional NLI (Att‑NLI)**를 제안합니다. 이 프레임워크는 LLM 기반 에이전트가 다중 에이전트 환경에서 숨겨진 의도에 대한 가설을 생성하고 검증할 수 있게 합니다.

주요 기여

• Att‑NLI 프레임워크: 고전 NLI를 확대하여 가설 생성(abductive) 및 검증(deductive) 추론을 결합해 의도 귀속을 모델링합니다.
• Undercover‑V 벤치마크: 통제된 다중 에이전트 환경에서 잠재적 동기를 추론하는 에이전트의 능력을 평가하도록 설계된 텍스트 기반 게임입니다.
• 세 가지 에이전트 원형:
  1. 표준 NLI 에이전트 – 순수 연역 추론.
  2. Att‑NLI 에이전트 – 외부 도구 없이 가설‑연역 추론을 수행합니다.
  3. 신경‑기호 Att‑NLI 에이전트 – 정리 증명기를 활용해 가설‑연역 추론을 강화합니다.
• 경험적 계층 구조: 신경‑기호 에이전트가 다른 두 에이전트를 지속적으로 능가함을 보여주며, 기본 NLI 에이전트 대비 +17.08 % 승률을 달성했습니다.
• 학제 간 통찰: 사회 심리학 개념을 LLM 추론 파이프라인에 어떻게 적용할 수 있는지 보여줍니다.

Source: …

방법론

1. 문제 공식화

• 저자들은 의도 추론을 두 단계 과정으로 본다:
  • Abduction – 관찰된 행동을 설명할 수 있는 가능한 잠재 의도를 생성한다.
  • Deduction – 각 가설을 현재 지식 베이스와 대조하여 타당한지 검증한다.

2. Att‑NLI 설계

• Prompt templates는 귀추적 질문(예: “X가 Y를 함으로써 달성하려는 목적은 무엇일까?”)과 연역적 검증(예: “가설 H가 주어졌을 때 …가 따라오는가?”)을 인코딩한다.
• 이 프레임워크는 chain‑of‑thought 프롬프트를 지원하는 모든 LLM에 플러그인 형태로 적용할 수 있다.

3. 신경‑기호 증강

• LLM이 가설을 제시하면, 시스템은 이를 논리식으로 변환하여 외부 정리 증명기(예: Prolog 또는 Z3)에 전달한다.
• 증명기는 불리언 결과를 반환하고, 에이전트는 이를 이용해 신념 상태를 가지치기하거나 강화한다.

4. Undercover‑V를 통한 평가

• 여러 에이전트(플레이어, NPC, LLM)가 은밀히 행동하는 턴제 텍스트 스파이 게임.
• 성공은 게임 종료 전에 LLM이 대상 에이전트의 숨겨진 목표를 정확히 식별하는 능력으로 측정한다.

5. 지표

• 승률 (LLM이 대상의 의도를 올바르게 귀속시킨 게임 비율).
• 가설 품질 (생성된 의도의 정밀도/재현율).
• 계산 오버헤드 (정리 증명으로 인한 추가 지연).

결과 및 발견

• 귀납(Abduction) 중요: 가설 생성 단계만 추가해도 승률이 약 13 % 상승합니다.
• 신경‑심볼릭 시너지: 외부 정리 증명이 가설을 추가로 정제하여 정밀도를 80 % 이상으로 끌어올리고 가장 높은 승률을 제공합니다.
• 트레이드‑오프: 더 풍부한 추론 파이프라인은 약간의 지연을 초래하지만, 인터랙티브 게임 허용 범위(< 0.5 s per turn) 내에 머무릅니다.

저자들은 의도 귀속이 LLM 에이전트에서 체계적으로 함양될 수 있는 별개의 추론 능력이며, 신경‑심볼릭 통합이 보다 합리적인 행동을 위한 실용적인 경로를 제공한다는 결론을 내립니다.

실용적 함의

• Multi‑agent AI systems: 사용자 목표를 예측해야 하는 챗봇, 가상 비서, 혹은 게임 NPC는 Att‑NLI를 채택하여 보다 능동적이고 상황 인식이 가능하도록 할 수 있다.
• Security & fraud detection: 로그나 통신을 모니터링하는 시스템은 잠재적 의도 가설(예: “이 사용자가 데이터를 유출하려는가?”)을 생성하고 이를 자동으로 검증할 수 있다.
• Human‑AI collaboration: 추론된 의도를 공개함으로써 LLM은 더 명확한 설명을 제공하여 협업 워크플로우에 대한 신뢰를 향상시킬 수 있다(예: 코드 리뷰 도우미가 개발자가 특정 패턴을 도입한 이유를 제시).
• Neuro‑symbolic pipelines: LLM과 정리 증명기를 결합한 것이 보여준 이점은 개발자들이 기존 LLM 기반 제품에 경량 심볼릭 엔진(예: Z3, MiniZinc)을 전체 재작성 없이 삽입하도록 장려한다.
• Tool‑augmented agents: 논문의 프롬프트 엔지니어링 레시피는 몇 번의 API 호출과 선택적인 심볼릭 백엔드만으로 모든 LLM(GPT‑4, Claude, Llama 2 등)을 귀속 추론기로 전환하는 방법을 보여준다.

제한 사항 및 향후 연구

• 정리 증명 확장성: Undercover‑V의 비교적 단순한 논리 구조에서는 효과적이지만, 보다 복잡한 실제 도메인에서는 증명기가 병목 현상을 일으킬 수 있습니다.
• 프롬프트 민감도: 귀납적 가설의 품질은 프롬프트 문구에 크게 좌우되며, 다양한 도메인에 대한 견고성은 아직 미해결 질문입니다.
• 평가 범위: 벤치마크가 단일 텍스트 게임에만 초점을 맞추고 있어, 일반성을 검증하기 위해서는 대화 시스템, 협상 봇 등 보다 폭넓은 테스트가 필요합니다.
• 설명 가능성: 시스템이 가설을 출력할 수는 있지만, 형식적인 증명 추적을 인간이 읽을 수 있는 설명으로 변환하는 것은 아직 초보 단계입니다.

저자들이 제시한 향후 연구 방향으로는 Att‑NLI를 멀티모달 입력(시각 + 언어)으로 확장하고, 모호한 의도를 다루기 위해 확률적 추론을 통합하며, 일반적인 의도 패턴을 위한 재사용 가능한 상징적 모듈 라이브러리를 구축하는 것이 포함됩니다.

저자

• Xin Quan
• Jiafeng Xiong
• Marco Valentino
• André Freitas

논문 정보

• arXiv ID: 2601.08742v1
• 분류: cs.CL
• 출판일: 2026년 1월 13일
• PDF: Download PDF