[Paper] Large Language Models에서 효율적인 Uncertainty Quantification을 위한 Semantic Token Clustering

Source: arXiv - 2603.20161v1

(번역할 텍스트를 제공해 주시면 한국어로 번역해 드리겠습니다.)

개요

대형 언어 모델(LLM)은 생산 환경에서 점점 더 많이 사용되고 있지만, 자신감 있게 잘못된 답변을 내놓는 경향은 여전히 큰 장애물입니다. 논문 Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models에서는 다중 샘플링이나 추가 보조 네트워크의 높은 비용 없이 의심스러운 출력을 표시할 수 있는 경량 기법인 **Semantic Token Clustering (STC)**을 소개합니다.

주요 기여

• 단일 패스 불확실성 추정: STC는 단일 전방 패스에서 신뢰 점수를 도출하여 비용이 많이 드는 몬테카를로 샘플링을 없앱니다.
• 시맨틱 토큰 클러스터링: 토큰을 모델 자체 임베딩과 간단한 접두사 매칭을 사용해 의미 기반 클러스터로 그룹화하여 원시 확률 분포를 시맨틱하게 인식된 불확실성 측정값으로 변환합니다.
• 모델‑불가지론 설계: 이 방법은 모든 자동회귀 LLM(e.g., GPT‑3, LLaMA, Claude)에서 동작하며 파인‑튜닝이나 외부 보정 모델이 필요하지 않습니다.
• 경쟁력 있는 성능: 실험 결과 STC가 MC‑Dropout, 앙상블 등 최첨단 불확실성 기준을 능가하거나 동등한 성능을 보이며 추론 시간을 최대 80 %까지 단축함을 보여줍니다.
• 오픈‑소스 구현: 저자들은 기존 추론 파이프라인에 최소한의 코드 변경만으로 삽입할 수 있는 경량 라이브러리를 공개했습니다.

Methodology

1. Embedding extraction: 모델이 토큰을 생성한 후, 해당 토큰을 내부적으로 표현하는 숨겨진 상태 임베딩(벡터)을 가져옵니다.
2. Cluster formation:
   • Prefix matching은 동일한 서브워드 접두사(예: “un‑”, “re‑”)를 공유하는 토큰들을 그룹화합니다.
   • Embedding clustering (k‑means 또는 계층적 병합) 은 코사인 공간에서 임베딩이 가까운 토큰들을 추가로 병합하여 의미적으로 일관된 클러스터를 만듭니다(예: “cat”, “dog”, “rabbit”은 “animal” 클러스터에 포함될 수 있음).
3. Probability aggregation: 클러스터에 속한 모든 토큰에 대한 모델의 소프트맥스 확률을 합산하여 cluster mass를 얻습니다.
4. Uncertainty score: 낮은 클러스터 매스는 모델이 많은 무관한 토큰에 걸쳐 확률이 분산되어 있음을 나타내며, 이는 높은 불확실성을 의미합니다. 반대로, 높은 매스가 단일 클러스터에 집중될 경우 모델이 자신감을 가지고 있음을 시사합니다.
5. Decision rule: 클러스터 매스(또는 그 보완값)에 대한 임계값을 설정하여 출력이 “신뢰할 수 있음” 또는 “잠재적으로 오류 가능”으로 표시됩니다.

클러스터링 단계는 생성당 한 번만 수행되며, 이미 LLM이 계산한 벡터만 사용하므로 오버헤드가 거의 없습니다.

결과 및 발견

• 속도: STC는 일반 생성에 비해 약 1.1배의 시간만 소요되며, MC‑Dropout이나 앙상블은 약 5–10배가 필요합니다.
• 메모리: 추가 모델 복사가 필요 없으며, 작은 클러스터링 캐시(≈ 몇 MB)만 사용합니다.
• 견고성: 이 방법은 모델 크기(7B‑65B)와 토크나이저 종류(BPE, SentencePiece) 전반에 걸쳐 성능을 유지합니다.

이 수치는 STC가 기존 최고의 방법들과 동등한 수준의 불확실성 추정치를 제공하면서도 실시간 서비스에 실용적으로 적용될 수 있음을 보여줍니다.

실용적 함의

• 프로덕션‑그레이드 안전망: 개발자는 STC를 챗‑봇, 코드 어시스턴트, 혹은 검색‑보강 LLM에 삽입하여 모델이 스스로 불확실하다고 판단한 답변을 자동으로 억제하거나 표시할 수 있다.
• 비용‑효율적인 모니터링: STC는 한 번의 순전파만 필요하므로 기존 추론 파이프라인에 자연스럽게 맞아들어 GPU 비용을 증가시키지 않는다—SaaS 제공업체에게 중요한 장점이다.
• Human‑in‑the‑loop 워크플로우: 콘텐츠 검토나 의료 QA와 같은 분야에서 STC는 전문가가 검토해야 할 모델 출력물을 우선순위화하여 전체 시스템 신뢰성을 향상시킨다.
• 파인‑튜닝 가이드: 클러스터‑질량 신호를 커리큘럼 메트릭으로 활용하여 모델이 지속적으로 불확실해하는 데이터 영역을 강조하고, 목표 데이터 수집이나 파인‑튜닝을 유도한다.

전반적으로, STC는 학술적인 불확실성 정량화와 실세계 배포 시의 지연/예산 제약 사이의 격차를 메운다.

제한 사항 및 향후 연구

• Cluster granularity trade‑off: 클러스터 수(k)를 선택하는 것이 민감도에 영향을 미칩니다; 클러스터가 너무 적으면 불확실성을 과도하게 부드럽게 만들고, 너무 많으면 노이즈가 다시 발생할 수 있습니다. 적응형 k 선택은 아직 해결되지 않은 문제입니다.
• Dependence on embedding quality: 기본 LLM의 임베딩이 특정 도메인(예: 고도의 기술 용어)에 대해 제대로 보정되지 않으면, 의미 클러스터가 덜 의미 있게 되어 불확실성 추정이 악화될 수 있습니다.
• Evaluation scope: 실험은 사실 기반 QA와 진실성 벤치마크에 초점을 맞추었으며, STC를 스토리 작성이나 코드 생성과 같은 생성 작업에 적용하는 것은 추가 연구가 필요합니다.
• Future directions: 저자들은 프롬프트별로 업데이트되는 동적 클러스터링 탐색, 외부 지식 그래프를 통합해 클러스터를 풍부하게 만들기, 그리고 이 방법을 멀티모달 모델(예: 비전‑언어)으로 확장하는 것을 제안합니다.

Bottom line: Semantic Token Clustering은 개발자가 모든 LLM 기반 서비스에 “신뢰도 측정기”를 저비용으로 추가할 수 있는 실용적인 방법을 제공하며, 속도와 확장성을 희생하지 않고 AI 출력의 안전성을 높입니다.

저자

• Qi Cao
• Andrew Gambardella
• Takeshi Kojima
• Yutaka Matsuo
• Yusuke Iwasawa

논문 정보

• arXiv ID: 2603.20161v1
• 분류: cs.CL, cs.AI, cs.LG
• 출판일: 2026년 3월 20일
• PDF: PDF 다운로드