[Paper] ReasonBENCH: LLM 추론의 (불)안정성 벤치마킹

Source: arXiv - 2512.07795v1

Overview

대형 언어 모델(LLM)은 이제 단계별 추론이 필요한 작업에 사용되고 있습니다—예를 들어 체인‑오브‑생각 프롬프트, 수학 문제 풀이, 코드 생성 등. 새로운 ReasonBENCH 벤치마크는 숨겨진 문제를 조명합니다: 대부분의 논문이 단일 실행 정확도만 보고하고, 확률적 디코딩으로 인해 동일한 프롬프트가 실행마다 크게 다른 답을 낼 수 있다는 사실을 무시합니다. 이 작업은 그 불안정성을 정량화하고, 커뮤니티를 위한 재현 가능하고 분산‑인식 평가 프레임워크를 제공합니다.

Key Contributions

• LLM 추론을 위한 최초의 전용 불안정성 벤치마크, 수학, 상식, 코드 등 여러 도메인을 포괄합니다.
• 모듈형 평가 라이브러리로, 추론 프레임워크, 모델 API, 작업 형식을 표준화하여 새로운 프롬프트나 모델을 쉽게 연결할 수 있습니다.
• 다중 실행 프로토콜은 각 실험을 자동으로 여러 번 실행하고, 신뢰 구간을 계산하며, 비용‑조정 메트릭(토큰 수, 지연 시간, API 가격)을 보고합니다.
• 공개 리더보드는 평균 성능과 변동성을 모두 표시하여 연구자들이 분산‑인식 결과를 발표하도록 장려합니다.
• 실증 분석을 통해 대부분의 추론 전략이 높은 분산을 보이며, 평균 점수가 동일한 일부 방법은 신뢰 구간 폭이 최대 4배 차이 나는 등, 최고 점수 방법이 가장 안정적이지 않은 비용 프로파일을 갖는 경우가 많음을 보여줍니다.

Methodology

1. Task Suite – ReasonBENCH는 다단계 추론이 필요한 선정된 추론 작업 집합(예: GSM‑8K 수학, ARC‑Easy, CodeEval)을 번들로 제공합니다.
2. Standardized Prompt Templates – 각 작업마다 라이브러리는 다양한 프롬프트 스타일(plain, chain‑of‑thought, self‑consistency 등)을 제공해 사과‑대‑사과 비교가 가능하도록 합니다.
3. Multi‑Run Execution – 모든 프롬프트‑모델‑작업 조합을 N번 실행합니다(기본 N = 30)·확률적 디코딩 설정(temperature > 0, top‑p 샘플링) 하에 수행합니다.
4. Statistical Reporting – 프레임워크는 원시 출력을 다음과 같이 집계합니다:
   • Mean solve rate (정확도 또는 exact match).
   • 95 % confidence interval for the solve rate, derived from the empirical distribution.
   • Cost statistics (average token usage, API price, latency) with corresponding variance.
5. Leaderboard Integration – 결과는 자동으로 공개 리더보드에 푸시되어 중앙 경향과 분산을 모두 시각화함으로써 불안정성을 일차적인 메트릭으로 만듭니다.

Results & Findings

• Ubiquitous Instability – 모델‑프롬프트 쌍의 85 % 이상이 평균 정확도의 5 %를 초과하는 신뢰 구간을 보이며, 이는 GSM‑8K와 같은 잘 연구된 벤치마크에서도 나타납니다.
• Trade‑off Between Performance and Stability – 최고 성능을 보이는 chain‑of‑thought + self‑consistency 설정은 평균 점수가 가장 높지만, 신뢰 구간이 가장 넓고 토큰 비용 변동도 가장 큽니다.
• Prompt Sensitivity – 작은 문구 변화(예: “Let’s think step‑by‑step” vs. “First, consider”)가 분산을 최대 2배까지 변화시켜, 프롬프트 수준의 견고성 검증 필요성을 강조합니다.
• Model Scale Effects – 대형 모델(GPT‑4 수준)은 소형 모델보다 더 안정적인 경향이 있지만, 개선이 선형적이지는 않으며 일부 중간 규모 모델(LLaMA‑13B 등)은 동일한 디코딩 설정에서 놀라울 정도로 불안정합니다.
• Cost Instability – 다중 샘플링(예: self‑consistency)을 사용하는 방법은 평균 토큰 사용량을 두 배로 늘릴 수 있으며, 비용 변동은 단일 패스 기준보다 네 배 높아집니다.

Practical Implications

• Production‑Ready Deployments – 엔지니어는 LLM 추론 출력을 결정론적이 아닌 확률적이라고 취급해야 합니다. 몇 번의 샘플링을 수행하고 집계(예: 다수결)하면 실패율을 크게 낮출 수 있습니다.
• Budget Forecasting – 비용 변동이 클 수 있으므로, 팀은 평균 추정치가 아닌 최악 상황 토큰 사용량을 기준으로 예산을 책정해야 합니다. ReasonBENCH의 비용‑인식 메트릭은 이러한 예산 책정을 투명하게 합니다.
• Prompt Engineering Pipelines – 자동 프롬프트 튜닝은 평균 정확도뿐 아니라 분산을 목표에 포함시켜야 합니다. 이렇게 하면 성능이 높으면서도 실행마다 신뢰할 수 있는 프롬프트를 만들 수 있습니다.
• Model Selection – 추론 중심 제품에 모델을 선택할 때는 안정성 프로파일을 고려하세요: 약간 낮은 정확도이지만 더 안정적인 모델이 사용자 경험과 운영 비용 측면에서 더 나은 선택이 될 수 있습니다.
• Benchmarking Culture Shift – 점수와 함께 신뢰 구간을 공개함으로써 커뮤니티는 재현성을 더 잘 평가하고, “체리‑픽” 결과를 줄이며, 불확실성‑인식 추론 방법 개발을 가속화할 수 있습니다.

Limitations & Future Work

• Decoding Settings Only – 벤치마크는 온도 기반 확률적 디코딩에만 초점을 맞추고 있습니다; 결정론적 디코딩(예: greedy) 및 다른 샘플링 전략(예: nucleus vs. top‑k)은 별도 연구가 필요합니다.
• Task Coverage – ReasonBENCH는 여러 도메인을 포괄하지만, 아직 장문 추론(예: 법률 분석)이나 텍스트와 이미지를 결합한 멀티모달 작업은 포함하지 않습니다.
• Scalability of Multi‑Run Experiments – 구성당 30회 이상 샘플을 실행하는 것은 대형 상용 API에 비용이 많이 들 수 있습니다; 향후 연구에서는 적은 실행 수나 적응형 샘플링으로 분산 추정을 탐색할 수 있습니다.
• Uncertainty Quantification Techniques – 저자들은 벤치마크 자체는 제공하지만, 모델 수준 불확실성 추정기(예: Bayesian LLM) 개발은 아직 열려 있는 연구 과제로 남겨두었습니다.

ReasonBENCH는 LLM 추론에 대한 보다 정직하고 재현 가능한 평가를 가능하게 하며, 개발자, 제품 팀, 연구자 모두가 오늘부터 더 신뢰할 수 있는 AI 시스템을 구축하는 데 활용할 수 있습니다.

Authors

• Nearchos Potamitis
• Lars Klein
• Akhil Arora

Paper Information

• arXiv ID: 2512.07795v1
• Categories: cs.AI, cs.CL, cs.LG
• Published: December 8, 2025
• PDF: Download PDF