[Paper] XAI에서 스토리까지: LLM 생성 설명 품질에 대한 요인 연구

Source: arXiv - 2601.02224v1

Overview

이 논문은 XAI 도구(SHAP 및 LIME 등)에서 얻은 원시 수치 설명을 대형 언어 모델(LLM)을 사용해 인간이 읽을 수 있는 스토리로 전환하는 방법을 조사한다. 예측 모델, XAI 방법, LLM, 프롬프트 스타일을 체계적으로 변형함으로써, 저자들은 시계열 예측 상황에서 고품질 자연어 설명(NLE)을 생성하는 데 실제로 중요한 요소가 무엇인지 밝혀낸다.

주요 기여

• 요인 실험 설계: 4개의 예측 모델, 3개의 XAI 기법(비‑XAI 기준 포함), 3개의 LLM, 8개의 프롬프트 전략을 포괄하여 총 660개의 설명을 생성.
• LLM‑as‑judge 평가: 두 명의 독립적인 LLM 심사자를 활용한 G‑Eval와 네 가지 품질 기준(신뢰성, 완전성, 명료성, 유용성) 적용.
• LLM 선택이 다른 모든 요인보다 우월함을 보여주는 실증적 발견: DeepSeek‑R1이 지속적으로 GPT‑4o 및 Llama‑3‑8B보다 우수한 성능을 보임.
• 고전적인 XAI 방법이 비전문가 사용자에게는 미미한 가치만을 제공하고, 강력한 LLM을 사용할 경우 불필요할 수도 있다는 증거.
• “해석 가능성 역설” 발견: 보다 정확한 고전 모델(SARIMAX)이 블랙박스 ML 모델보다 열등한 자연어 설명(NLE)을 생성.
• 프롬프트 인사이트: 제로샷 프롬프트가 더 비용이 많이 드는 자체 일관성 프롬프트와 동등한 품질을 보이며, 체인‑오브‑쓰레드(CoT)는 설명 품질을 저하시킴.

Methodology

1. Forecasting models – Four models were trained on a standard time‑series dataset:

   • XGBoost (XGB)
   • Random Forest (RF)
   • Multilayer Perceptron (MLP)
   • SARIMAX (a statistical time‑series model)

2. XAI conditions – For each forecast, explanations were generated using:

   • SHAP
   • LIME
   • No‑XAI (raw prediction only)

3. LLM generators – The numeric attributions (or raw predictions) were fed to three LLMs:

   • GPT‑4o (OpenAI)
   • Llama‑3‑8B (Meta)
   • DeepSeek‑R1 (DeepSeek)

4. Prompting strategies – Eight variants ranging from simple zero‑shot prompts to self‑consistency (multiple sampled answers) and chain‑of‑thought prompts.

5. Evaluation – Using G‑Eval, two LLM judges independently scored each explanation on:

   • Faithfulness (does it reflect the underlying attribution?)
   • Completeness (covers all important features)
   • Clarity (readability for the target audience)
   • Usefulness (actionability for the user)

   Scores were aggregated to produce an overall quality metric for each of the 660 explanations.

결과 및 발견

전반적으로, 이 연구는 강력한 LLM이 정교한 XAI 후처리의 부재를 보완할 수 있으며, 복잡한 프롬프트는 추가 연산 예산 대비 가치가 없을 수 있음을 시사한다.

Practical Implications

• 제품 팀이 AI 대시보드를 구축할 때: 강력한 LLM(또는 파인‑튜닝된 변형)에 투자하는 것이 여러 XAI 라이브러리를 통합하는 것보다 비용 효율적일 수 있습니다. 특히 대상 사용자가 비기술자일 경우 더욱 그렇습니다.
• 프롬프트 엔지니어링 예산: 간단한 제로‑샷 프롬프트만으로도 고품질 설명을 제공할 수 있어, 확장이나 다른 모델 추론 작업을 위한 컴퓨팅 자원을 절약할 수 있습니다.
• 모델 선택 트레이드‑오프: 설명 가능성이 핵심 요구사항일 때, LLM과 잘 작동하는 블랙‑박스 ML 모델을 선택하는 것이 통계적으로 더 우수하지만 “설명 가능성”이 낮은 SARIMAX와 같은 모델보다 바람직할 수 있습니다.
• 개발자 도구: SHAP/LIME 출력물을 경량 JSON 페이로드로 래핑해 LLM에 전달하는 SDK를 한 번 구축하면 모델 전반에 재사용할 수 있어 엔지니어링 부담을 줄일 수 있습니다.
• 비용 최적화: 자기 일관성(다중 샘플링 답변)을 사용하지 않아도 품질을 유지할 수 있으므로 추론 비용을 최대 85 %까지 절감할 수 있습니다.

제한 사항 및 향후 연구

• 도메인 범위: 실험은 단일 시계열 예측 데이터셋에 초점을 맞추었으며, 분류, 자연어 처리(NLP) 또는 컴퓨터 비전 작업에서는 결과가 다를 수 있습니다.
• LLM 평가자 신뢰성: LLM을 평가자로 사용하는 것은 잠재적인 편향을 초래할 수 있으며, 인간 검증은 연구에 포함되지 않았습니다.
• 프롬프트 다양성: 8가지 프롬프트 변형만 테스트했으며, 몇 샷 예시나 역할 연기와 같은 보다 정교한 프롬프트 엔지니어링은 추가적인 통찰을 제공할 수 있습니다.
• 설명 가능성 깊이: 연구는 표면 수준의 자연어 설명(NLE) 품질을 측정했지만, 하위 의사결정에 미치는 영향이나 시간에 따른 사용자 신뢰는 평가하지 않았습니다.

향후 연구에서는 팩터리얼 디자인을 다른 도메인으로 확장하고, 인간 사용자 연구를 포함하며, 설명 생성에 특화된 LLM 파인튜닝을 탐구할 수 있습니다.

저자

• Fabian Lukassen
• Jan Herrmann
• Christoph Weisser
• Benjamin Saefken
• Thomas Kneib

논문 정보

• arXiv ID: 2601.02224v1
• 카테고리: cs.CL
• 출판일: 2026년 1월 5일
• PDF: PDF 다운로드