[Paper] Thinking LLM-as-a-Judge를 위한 분포 보정된 추론 시간 계산

Source: arXiv - 2512.03019v1

Overview

이 논문은 대형 언어 모델(LLM)을 쌍별 선호 작업의 판단자로 사용할 때, 잡음이 섞인 단일 샷 판단을 신뢰할 수 있는 “평점”으로 전환하는 방법을 조사한다. 추론 시 연산량(즉, 항목당 여러 독립적인 “생각” 샘플을 생성)을 늘리고, 새로운 분포‑보정 집계 규칙을 적용함으로써 LLM 기반 평가의 일관성과 정확도를 크게 향상시킨다.

Key Contributions

• Distribution‑calibrated aggregation: margin (비동점 투표의 극성)과 decisiveness (비동점 투표 비율)를 동시에 활용하는 Bradley‑Terry‑Davidson(BTD) 기반 방식을 도입.
• Inference‑time compute (ITC) budgeting: 지연 시간과 평점 품질 사이의 절충을 위해 항목당 필요한 생각‑평점 샘플 수를 체계적으로 연구.
• Empirical validation: 여러 벤치마크 평가 데이터셋에서 일관된 MAE 감소와 높은 쌍별 정확도를 입증, 종종 개별 인간 평가자를 능가.
• Robustness to ties: 다수결이나 soft‑self‑consistency가 붕괴되는 “동점” 비율이 높은 상황에서도 BTD 집계가 잘 동작함을 보임.
• Open‑source reference implementation: 실험 재현 및 기존 LLM‑as‑judge 파이프라인에 적용할 수 있는 코드와 스크립트를 제공.

Methodology

1. Thinking‑rating generation: 각 항목(예: 프롬프트에 대한 응답)에 대해 LLM에 n개의 독립적인 “생각” 샘플을 생성하도록 프롬프트하고, 각 샘플 뒤에 평점(Prefer A, Prefer B, or Tie)을 부여한다. 다양성을 위해 온도 > 0으로 샘플링한다.
2. Count‑based representation: n개의 출력은 세 가지 카운트 벡터 ([c_A, c_B, c_{\text{tie}}]) 로 요약된다.
3. Bradley‑Terry‑Davidson model:
   • 고전 Bradley‑Terry 모델은 쌍별 승리 카운트를 기반으로 각 옵션의 잠재 “스킬” 점수를 추정한다.
   • Davidson 확장은 동점 확률 파라미터를 추가해 decisiveness 를 직접 모델링한다.
   • 저자들은 관측된 카운트 벡터에 BTD 모델을 적합시켜 A가 B보다 선호될 보정 확률을 얻는다.
4. Inference‑time compute budgeting: n (예: 1, 3, 5, 9, 15)을 변화시키며 추가 샘플당 평점 품질의 한계 이득을 정량화하고, 실용적인 배포 결정을 안내한다.
5. Baselines: 다수결, soft self‑consistency(로짓 평균), instruction‑based self‑aggregation(“재투표” 프롬프트)와 비교.

Results & Findings

• Tie handling: 모델 출력 중 30 % 이상이 동점일 때, 다수결 정확도가 급격히 떨어지는 반면 BTD는 안정적으로 유지된다.
• Compute vs. gain: 샘플 수를 1에서 5로 늘리면 MAE가 약 30 % 감소하고, 9개 이상에서는 개선이 평탄해져 실시간 서비스에 적합한 최적점이 제시된다.
• Human parity: 여러 인간 평가자로 구성된 메타 라벨 세트에서, 보정된 BTD 점수는 최고 인간 평가자와 동등한 성능을 보이며 평균보다 뛰어났다.

Practical Implications

• More reliable LLM‑as‑judge services: 코드 생성, 요약, 콘텐츠 검열 등 자동 순위 매김 서비스를 제공하는 플랫폼은 적당한 ITC 예산(5–9 샘플)과 BTD 집계기를 도입해 대규모 지연 없이 인간 수준의 일관성을 달성할 수 있다.
• Cost‑effective quality control: 각 샘플에서 최대 정보를 추출하므로 과도한 연산 할당을 피할 수 있다; 수익 감소 곡선이 명확한 SLA 설정을 돕는다.
• Robustness in noisy domains: “잘 모르겠어요” 혹은 동점 응답이 빈번한 윤리 판단, 모호한 프롬프트 등에서 보정 접근법이 집계를 붕괴시키는 것을 방지한다.
• Plug‑and‑play: 제공된 구현은 모든 디코더‑전용 LLM(GPT‑3.5, LLaMA‑2, Claude 등)과 호환되며, 기존 평가 파이프라인에 몇 줄의 코드만 추가하면 사용할 수 있다.

Limitations & Future Work

• Model‑specific calibration: BTD 파라미터는 모델·작업별로 별도 적합이 필요하며, 서로 다른 LLM 패밀리 간 전이에는 재추정이 요구될 수 있다.
• Latency for high‑throughput services: 5–9 샘플은 비교적 적지만, 초저지연(예: 실시간 채팅) 상황에서는 여전히 추가 추론 단계가 부담이 될 수 있다.
• Scope of benchmarks: 실험은 쌍별 선호 작업에 국한되었으며, 다중 옵션 순위나 개방형 품질 점수로 확장하는 연구가 필요하다.
• Human alignment: 인간 합의를 맞추긴 했지만, 인간과 LLM이 공유할 수 있는 체계적 편향은 다루지 않는다; 향후 집계에 편향 완화 레이어를 통합하는 방안을 모색할 수 있다.

Bottom line: 추론 시 연산을 전략적으로 할당하고 분포‑인식 집계 규칙을 사용함으로써, 개발자는 잡음이 섞인 LLM 판단을 신뢰할 수 있는 평가 신호로 전환할 수 있다—원시 모델 출력과 실용적인 품질 메트릭 사이의 격차를 메우는 방법이다.

Authors

• Hamid Dadkhahi
• Firas Trabelsi
• Parker Riley
• Juraj Juraska
• Mehdi Mirzazadeh

Paper Information

• arXiv ID: 2512.03019v1
• Categories: cs.LG, cs.AI
• Published: December 2, 2025
• PDF: Download PDF