[Paper] Sparse Autoencoders와 함께하는 Faithful Retrieval‑Augmented Generation

Source: arXiv - 2512.08892v1

개요

Retrieval‑augmented generation (RAG)은 외부 문서에 기반해 언어 모델의 응답을 근거 있게 만들어 사실성 높은 출력을 약속하지만, 여전히 환각을 일으켜—검색된 증거와 모순되거나 그 범위를 넘어서는 진술을 생성합니다. 이 논문은 RAGLens라는 경량 탐지기를 소개합니다. 이 탐지기는 희소 자동인코더를 통해 모델 자체의 내부 활성화를 활용해 신뢰할 수 없는 생성물을 식별하고, 더 높은 탐지 정확도와 인간이 이해할 수 있는 설명을 제공합니다.

주요 기여

• 희소 자동인코더 기반 특징 추출: LLM의 은닉 상태를 희소하고 해석 가능한 특징으로 분해하는 방법을 제시하며, 이러한 특징은 RAG 환각이 발생할 때 특히 활성화됩니다.
• RAGLens 탐지기: 정보 이론적 특징 선택과 가산 모델링을 기반으로 한 컴팩트하고 학습이 필요 없는 환각 탐지기로, 기존 탐지기 베이스라인보다 우수한 성능을 보입니다.
• 해석 가능성 및 사후 완화: 토큰별 근거(어떤 내부 특징이 트리거되었는지)를 제공하여, 신뢰할 수 없는 출력을 편집하거나 거부하는 데 활용할 수 있습니다.
• 실증 검증: 여러 RAG 설정(예: Retrieval‑Augmented GPT‑2, LLaMA‑2)에서 벤치마크를 수행해, 추론 오버헤드를 최소화하면서도 우수한 정밀도/재현율을 입증했습니다.
• 오픈소스 공개: 재현성을 위해 전체 코드, 사전 학습된 자동인코더, 분석 스크립트를 공개합니다.

방법론

1. 활성화 스냅샷 수집: 저자들은 기본 LLM(예: LLaMA‑2)을 RAG 프롬프트 집합에 적용하고, 충실한 출력과 환각된 출력(소규모 인간 주석 검증 세트를 통해 식별) 모두에 대해 여러 트랜스포머 층의 은닉 상태 활성화를 기록합니다.
2. 희소 자동인코더(SAE) 학습: 각 층마다 강한 희소성 페널티를 적용한 얕은 자동인코더를 학습시켜, 각 뉴런이 소수의 입력에만 활성화되는 압축 표현을 얻습니다.
3. 상호 정보 기반 특징 선택: 각 SAE 특징과 이진 환각 라벨 간의 상호 정보를 계산하고, 층 전체에서 가장 정보량이 높은 상위 k개의 특징을 선택합니다.
4. 가산 특징 모델링: 간단한 로지스틱 회귀(또는 선형 프로브)를 사용해 선택된 특징들을 결합해 환각 점수를 출력합니다. 특징이 희소하고 해석 가능하기 때문에 모델은 경량(≈ 수백 개 파라미터)으로 유지됩니다.
5. RAGLens 추론: 테스트 시 LLM이 새로운 RAG 프롬프트를 처리하고, SAE가 활성화를 인코딩한 뒤 선택된 특징을 추출합니다. 선형 프로브가 출력을 충실한지 여부로 판단하고, 활성화된 특징들을 근거로 제시합니다.

결과 및 발견

• 높은 탐지 품질을 외부 LLM을 판사로 호출하는 데 비해 훨씬 적은 연산 비용으로 달성했습니다.
• 해석 가능성: 플래그된 사례 중 70 % 이상에서 가장 활성화된 특징이 구체적인 언어적 단서(예: “지원되지 않은 인용”, “수치 불일치”)와 일치했습니다.
• 층 분포: 환각 관련 특징은 중간 트랜스포머 층(24‑층 모델의 6‑9층)에서 집중되어, 사실 근거가 비교적 초기 단계에서 해결된다는 점을 시사합니다.

실용적 함의

• 플러그‑인 안전 레이어: 개발자는 기존 RAG 파이프라인(예: LangChain, Retrieval‑QA 봇)에 RAGLens를 별도 재학습 없이 손쉽게 연결해 저비용 “신뢰성 방어막”을 얻을 수 있습니다.
• 비용 효율적인 모더레이션: RAGLens가 단일 GPU에서 ~10 ms만 소요되므로, 별도 LLM을 호출해 검증하는 것이 비용 부담이 되는 고처리량 서비스에 적합합니다.
• 디버깅 및 데이터 수집: 해석 가능한 특징 플래그는 엔지니어가 체계적인 오류 패턴(예: 인용 누락, 수치 오류)을 파악하고, 보다 나은 검색 코퍼스를 구축하는 데 도움을 줍니다.
• 세밀한 제어: 어떤 내부 특징이 플래그를 일으켰는지 노출함으로써, 다운스트림 시스템은 추가 증거 요청, 문서 재순위, 혹은 단순히 답변 거부와 같은 조치를 선택할 수 있습니다.

제한점 및 향후 연구

• 작은 주석된 시드 집합에 의존: 충실 vs. 환각 출력의 초기 라벨링이 SAE 학습 및 특징 선택에 필요하며, 시드 품질이 탐지 성능에 큰 영향을 미칩니다.
• 모델‑특정 인코더: SAEs는 층·모델별로 학습되므로, LLM을 교체할 경우(예: LLaMA‑2 → GPT‑4) 새로운 자동인코더가 필요합니다.
• 환각 유형 범위: 본 연구는 사실적 모순 및 근거 없는 확장을 중심으로 다루며, 어조 변동, 편향된 프레이밍 등 더 미묘한 형태는 다루지 않았습니다.
• 향후 방향: 저자들은 보다 넓은 불신성 스펙트럼을 포착하는 다중 작업 자동인코더 탐색과, 검색 단계 자체에 RAGLens를 통합해 문서 재순위 시 환각 위험을 예측하는 방안을 제시합니다.

RAGLens는 거대한 외부 판사나 방대한 라벨링 데이터 없이도, 모델 자체의 희소 내부 신호만으로도 Retrieval‑Augmented Generation을 정직하게 유지할 수 있음을 보여줍니다.

저자

• Guangzhi Xiong
• Zhenghao He
• Bohan Liu
• Sanchit Sinha
• Aidong Zhang

논문 정보

• arXiv ID: 2512.08892v1
• Categories: cs.CL, cs.AI
• Published: December 9, 2025
• PDF: Download PDF