[Paper] 영향력 있는 훈련 데이터 검색을 통한 LLM의 언어화된 신뢰도 설명

Source: arXiv - 2601.10645v1

Overview

대형 언어 모델(LLMs)은 생성하는 답변에 대해 얼마나 자신 있는지 밝히라는 요청을 점점 더 많이 받고 있으며, 이는 사용자 신뢰를 높이는 기능이 될 수 있습니다. 그러나 연구에 따르면 이러한 자신감 표시는 종종 사실적 정확성과 일치하지 않으며—모델이 틀렸음에도 확신에 차 보입니다. 이 논문은 TracVC라는 기법을 소개합니다. 이 기법은 모델이 말한 자신감을 해당 모델에 영향을 준 특정 학습 예제로 추적하여, LLM이 때때로 과도하게 자신감 있게 “말만 하고” 실제로는 “실천하지 못하는” 이유를 밝힙니다.

주요 기여

• TracVC 프레임워크: 정보 검색과 영향 추정을 결합하여 모델의 신뢰도 표현을 가장 영향력 있는 학습 구절에 매핑합니다.
• Content groundness metric: 신뢰도 진술이 내용‑관련 예시에 얼마나 기반하고 있는지, 일반적인 “confidence‑talk” 조각과 비교해 정량화하는 새로운 평가 지표입니다.
• OLMo와 LLaMA에 대한 실증 연구: 13‑B‑파라미터 OLMo 모델이 종종 어휘적으로 관련 없는 신뢰도‑관련 데이터를 활용한다는 것을 보여주며, 이는 진정한 근거보다는 피상적인 모방임을 나타냅니다.
• 학습 역학에 대한 통찰: 현재 사전‑학습 파이프라인이 LLM에게 언제 신뢰가 필요한지를 가르치기보다 어떻게 자신 있게 말하는지를 가르치는 체계적인 문제를 강조합니다.

방법론

1. 데이터 검색: 생성된 답변‑신뢰도 쌍마다, 저자들은 원본 사전 학습 코퍼스에서 밀집 벡터 검색(예: FAISS)을 사용하여 후보 학습 구절 집합을 검색한다.
2. 영향도 추정: 그들은 그래디언트 기반 영향 함수(예: Koh & Liang, 2017)를 적용하여 각 검색된 구절이 모델의 신뢰도 토큰 로짓에 얼마나 기여했는지 추정한다.
3. 근거 점수 매기기:
   • 내용‑관련 구절은 질문/답변에 대한 사실 정보를 포함한다.
   • 일반 구절은 단지 신뢰도 표현의 예시일 뿐이다(예: “I’m quite sure”).
     내용 근거 점수는 내용‑관련 구절에서 오는 전체 영향도의 비율이다.
4. 평가: 파이프라인을 벤치마크 QA 세트에 적용하여 OLMo‑2‑13B와 LLaMA‑2‑13B를 비교한다.

결과 및 발견

• OLMo‑2‑13B의 낮은 내용 근거성: 평균적으로 신뢰도 진술에 대한 영향의 **≈30 %**만이 내용‑관련 예시에서 나왔으며, 나머지는 일반적인 신뢰 표현에서 비롯되었습니다.
• LLaMA‑2‑13B의 높은 근거성: LLaMA는 보다 균형 잡힌 비율(~55 % 내용‑관련)을 보였으며, 이는 자신감을 표현할 때 사실적 맥락에 더 많이 의존함을 시사합니다.
• 어휘 불일치: OLMo에 대한 상위 영향 구절 다수가 질의와 어휘적으로 무관했으며, 모델이 답변의 실질에 근거하지 않고 신뢰 표현 패턴을 복제한다는 것을 나타냅니다.
• 과도한 자신감 패턴: 모델이 사실적으로 틀렸지만 높은 자신감을 표현한 경우가 일반적인 신뢰 데이터의 높은 영향과 상관관계가 있었습니다.

Practical Implications

• AI 어시스턴트를 위한 더 나은 UI/UX: 신뢰도 진술이 실제로 근거가 있는지 여부를 알면 사용자가 볼 수 있는 시점을 조절할 수 있어 잘못된 신뢰를 줄일 수 있습니다.
• 파인‑튜닝 전략: 개발자는 사실 내용 + 보정된 신뢰도 주석이 짝을 이루는 학습 데이터를 추가하여 모델이 언제 자신 있게 답변해야 하는지를 학습하도록 유도할 수 있습니다.
• 모니터링 및 디버깅: TracVC를 모델 서빙 파이프라인에 통합하면, 신뢰도가 주로 일반적인 데이터에 의해 좌우되는 답변을 표시해 “잘 모르겠어요”와 같은 대체 메커니즘을 작동시킬 수 있습니다.
• 규제 준수: 의료·금융 등 고위험 분야에서는 내용에 근거한 신뢰도를 입증하는 것이 규제 요구사항이 될 수 있으며, TracVC는 측정 가능한 감사 추적을 제공합니다.

제한 사항 및 향후 작업

• 확장성: 수십억 토큰에 대한 영향 추정은 여전히 계산 비용이 크며, 근사 방법은 미묘한 영향을 놓칠 수 있습니다.
• 훈련 데이터 접근성: 이 방법은 원본 사전 학습 코퍼스에 대한 접근을 전제로 하는데, 상업용 LLM의 경우 종종 독점적입니다.
• 측정 지표 범위: 콘텐츠 근거성은 어휘적 관련성을 포착하지만, 훈련 데이터에 직접 인용되지 않은 미묘한 추론 단계는 간과할 수 있습니다.
• 향후 방향:
  • 경량 영향 프록시 개발 (예: 어텐션 롤아웃 활용).
  • 커리큘럼 학습 탐색, 자신감 보정을 명시적으로 가르치는 방법.
  • TracVC를 멀티모달 모델 및 명령 튜닝된 변형으로 확장.

핵심: TracVC는 숨겨진 맹점을 비춥니다—LLM은 정당화되지 않은 자신감을 표현하도록 훈련될 수 있습니다. 자신감의 근원을 훈련 데이터로 추적함으로써, 개발자는 올바르게 답변할 뿐만 아니라 불확실성을 인정할 시점을 아는 보다 신뢰할 수 있는 AI 시스템을 구축할 실용적인 도구를 얻게 됩니다.

저자

• Yuxi Xia
• Loris Schoenegger
• Benjamin Roth

논문 정보

• arXiv ID: 2601.10645v1
• Categories: cs.CL
• Published: 2026년 1월 15일
• PDF: PDF 다운로드