[Paper] InEx: 자기성찰 및 크로스모달 다중 에이전트 협업을 통한 환각 완화

Source: arXiv - 2512.02981v1

Overview

논문 “InEx: Hallucination Mitigation via Introspection and Cross‑Modal Multi‑Agent Collaboration” 은 대형 언어 모델(LLM)에서 가장 까다로운 문제 중 하나인 환각—그럴듯해 보이지만 사실과 다른 진술을 생성하는 현상—을 다룹니다. 인간과 유사한 의사결정 과정을 차용해—먼저 내성(introspection)을 수행하고, 그 다음 외부 검증을 구하는—저자들은 학습이 필요 없는, 다중 에이전트 프레임워크 를 제시하여 멀티모달 LLM(MLLM)에서 환각을 크게 감소시킵니다.

Key Contributions

• InEx 프레임워크: 내부 내성(introspection)과 교차 모달, 다중 에이전트 검증을 결합한 새로운 플러그‑인‑플레이 시스템으로, 추가 모델 학습이 필요 없습니다.
• 엔트로피 기반 불확실성 추정기: 의사결정 에이전트의 불확실성을 정량화하여 필요 시 더 깊은 내성을 트리거합니다.
• 세 에이전트 협업:
  1. Decision agent – 초기 답변을 생성합니다.
  2. Editing agent – 시각·텍스트 단서를 활용해 답변을 비판하고 재작성합니다.
  3. Self‑reflection agents – 반복 검사를 수행하고 응답을 다듬습니다.
• 실증적 향상: 일반 QA와 전용 환각 벤치마크 모두에서 강력한 베이스라인 대비 4 %–27 %의 일관된 개선을 달성했습니다.
• 견고성: 다양한 프롬프트, 모달리티, 노이즈 수준에서 안정적인 성능을 보여줍니다.

Methodology

1. Introspective Reasoning – Decision agent가 답변을 생성하면 InEx는 먼저 그 엔트로피 (불확실성의 통계적 대리)를 측정합니다. 엔트로피가 높으면 에이전트는 최종 출력을 확정하기 전에 추론 경로를 재평가합니다.
2. Cross‑Modal Collaboration – 초기 답변은 editing agent에게 전달됩니다. 이 에이전트는 이미지(또는 다른 모달리티)와 텍스트를 모두 볼 수 있으며, “고양이가 흰색이다”와 같이 명백히 검은 고양이와 일치하지 않는 경우를 찾아 수정안을 제시합니다.
3. Self‑Reflection Loop – 하나 이상의 reflection agent가 가벼운 검증 단계를 수행합니다: “이 주장이 시각적 증거에 근거하는가?” 라고 질문하고, 수용하거나, 또 다른 수정을 요청하거나, 답변을 불확실하다고 표시합니다. 이 루프는 엔트로피가 사전 설정된 임계값 이하가 되거나 최대 반복 횟수에 도달할 때까지 반복됩니다.
4. Training‑Free Design – 모든 에이전트는 표준 LLM(또는 비전‑언어 모델)이며, 즉시 사용할 수 있는 형태로 제공됩니다. 프레임워크는 추론 시에 이들을 오케스트레이션하여 비용이 많이 드는 파인튜닝을 피합니다.

Results & Findings

• Benchmark performance: MMQA와 VQA‑Hallucination 벤치마크에서 InEx는 베이스라인 MLLM 대비 최대 27 % 높은 사실 정확도를 기록했습니다.
• Generalization: 의료 이미지, 기술 도면 등 보지 못한 도메인에서도 프레임워크는 **+10 %**의 정확도 향상을 유지했습니다.
• Ablation studies: 엔트로피 기반 내성을 제거하면 성능이 약 6 % 감소하고, editing agent를 제외하면 12 % 감소하여 각 구성 요소의 중요성을 확인했습니다.
• Speed trade‑off: 다중 에이전트 루프는 단일 패스 모델에 비해 약 0.8×의 지연을 추가하지만, 일반적인 질의에 대해 <2 초의 인터랙티브 응답 시간 내에 머무릅니다.

Practical Implications

• Safer AI assistants: 개발자는 InEx를 챗봇, 가상 에이전트, 고객 지원 도구 등에 삽입해 이미지(예: 제품 매뉴얼)를 참조하면서도 잘못된 정보를 제공할 위험을 줄일 수 있습니다.
• Low‑cost reliability upgrade: InEx는 추론 단계에서 작동하므로 기존 LLM 배포를 재학습 없이 업그레이드할 수 있어 컴퓨팅 비용을 절감합니다.
• Regulatory compliance: 환각이 법적 문제를 일으킬 수 있는 의료·금융 등 산업에서 InEx를 활용해 높은 사실 정확도 기준을 충족할 수 있습니다.
• Tooling for developers: 저자들은 경량 API를 공개했으며, 엔지니어가 커스텀 프롬프트와 함께 세 에이전트를 조합해 도메인 특화 지식 베이스에 쉽게 적용할 수 있도록 했습니다.

Limitations & Future Work

• Latency overhead: 반복 검증 루프는 적당하지만, 초저지연이 요구되는 실시간 게임 등에서는 여전히 부담이 될 수 있습니다.
• Dependency on modality quality: 시각 입력이 노이즈가 많거나 모호하면 editing agent가 오류를 전파할 가능성이 있습니다.
• Scalability of agents: 현재 설계는 세 에이전트를 전제로 하며, 더 복잡한 작업으로 확장하려면 보다 스마트한 오케스트레이션이나 동적 에이전트 선택이 필요합니다.
• Future directions: 저자들은 언제 내성 루프를 중단할지 학습된 정책 탐색, 외부 지식 그래프와의 통합을 통한 심층 사실 검증, 순수 텍스트 환각 완화에 이 패러다임 적용 등을 제안합니다.

Authors

• Zhongyu Yang
• Yingfang Yuan
• Xuanming Jiang
• Baoyi An
• Wei Pang

Paper Information

• arXiv ID: 2512.02981v1
• Categories: cs.CV
• Published: December 2, 2025
• PDF: Download PDF