[Paper] FACTS Leaderboard: 대규모 언어 모델 사실성을 위한 포괄적인 벤치마크

Source: arXiv - 2512.10791v1

Overview

이 논문은 The FACTS Leaderboard라는 새로운 공개 벤치마크 스위트를 소개합니다. 이 스위트는 실제 세계의 다양한 작업에서 대형 언어 모델(LLM)의 사실 정확성을 측정합니다. 이미지 기반 QA, 파라메트릭 지식, 검색 기반 답변, 장문 근거 제공이라는 네 가지 상호 보완적인 서브벤치마크를 통합함으로써, 개발자들에게 모델을 비교하고 사실성 향상을 추적할 수 있는 단일하고 신뢰할 수 있는 점수를 제공하고자 합니다.

Key Contributions

• 통합 사실성 스위트: 이미지 기반 QA, 파라메트릭 지식, 검색 강화 QA, 문서 기반 생성 네 가지 서브리더보드를 집계합니다.
• 자동 판단 파이프라인: 각 서브벤치마크는 비용이 많이 드는 인간 주석 대신 훈련된 판단 모델을 사용해 대규모로 사실성을 점수화합니다.
• Kaggle 공개 리더보드: 공개 테스트와 숨김 테스트를 모두 제공하여 과적합을 방지하면서 공개 경쟁을 가능하게 합니다.
• 버전 관리된 Grounding 벤치마크(v2): 긴 텍스트에서 환각을 더 잘 탐지하는 향상된 판단 모델을 포함합니다.
• 지속적인 유지 관리 계획: 새로운 데이터와 작업을 추가해 커뮤니티가 장기적으로 참여하도록 장려합니다.

Methodology

1. 데이터셋 구축 – 저자들은 네 가지 작업별 데이터셋을 선정했습니다:

   • FACTS Multimodal: 시각적 추론이 필요한 이미지‑질문 쌍.
   • FACTS Parametric: 외부 조회 없이 모델 내부 지식만으로 답해야 하는 사실형 질문.
   • FACTS Search: 모델이 시뮬레이션된 검색 API를 호출하고 검색된 스니펫을 종합해야 하는 개방형 질의.
   • FACTS Grounding (v2): 긴 본문과 원본 문서가 쌍을 이루며, 모델은 제공된 텍스트와 검증 가능한 답변을 생성해야 함.

2. 자동 판단자 – 각 서브벤치마크마다 별도의 분류기(대개 파인튜닝된 LLM)를 사용해 응답이 사실적으로 올바른지 예측합니다. 이 판단자들은 인간 주석 예시와 합성 교란 데이터를 혼합해 훈련시켜 견고성을 높였습니다.

3. 점수화 및 집계 – 서브벤치마크별 판단 점수를 평균한 뒤, 네 개의 평균을 단순 평균으로 결합해 전체 FACTS 스위트 점수를 산출합니다. 이 설계는 다양한 모달리티와 검색 설정에서의 강점과 약점을 균형 있게 반영합니다.

4. 리더보드 인프라 – 제출물은 Kaggle 플랫폼에서 평가됩니다. 공개 스플릿은 즉각적인 피드백을 제공하고, 숨김 스플릿은 최종 순위가 진정한 일반화 능력을 반영하도록 합니다.

Results & Findings

• 최신 LLM(GPT‑4, PaLM‑2 등)은 Parametric와 Search 서브벤치마크에서 높은 점수를 기록하지만, Multimodal과 Grounding에서는 여전히 뒤처져 시각적 추론과 장문 인용이 여전히 어려운 과제임을 보여줍니다.
• 검색 강화 모델이 순수 파라메트릭 모델보다 사실성에서 우수함을 확인했으며, 이는 외부 지식원을 적절히 활용하면 환각을 완화할 수 있음을 시사합니다.
• 자동 판단자는 별도 검증 세트에서 인간 판단과 강한 상관관계(Spearman ≈ 0.85)를 보였으며, 대규모 평가에 신뢰할 수 있는 점수 파이프라인임을 입증했습니다.

Practical Implications

• 모델 선택: 개발자는 FACTS 스위트 점수를 단일 메트릭으로 활용해 사실성 요구에 가장 부합하는 모델을 선택할 수 있어, 여러 임시 테스트를 일일이 수행할 필요가 없습니다.
• 제품 모니터링: 챗봇, 검색 어시스턴트, 문서 분석 도구 등을 개발하는 기업은 CI 파이프라인에 이 벤치마크를 통합해 출시 전 사실성 회귀를 사전에 감지할 수 있습니다.
• 파인튜닝 가이드: 네 가지 서브벤치마크는 구체적인 약점(예: 멀티모달 추론)을 강조하므로, 팀은 데이터 수집이나 아키텍처 변경을 해당 영역에 집중할 수 있습니다.
• 검색 강화 설계: Search 점수에서 명확한 이점을 보인 만큼, RAG, 툴‑사용 API 등 검색 모듈을 프로덕션에 도입해 답변 근거성을 높이는 것이 권장됩니다.
• 커뮤니티 표준: 지속적으로 업데이트되는 공유 리더보드를 제공함으로써 연구 커뮤니티는 분산된 평가를 줄이고 환각 완화 연구를 가속화할 공통 기준을 얻게 됩니다.

Limitations & Future Work

• 판단자 신뢰성: 판단자는 인간과 높은 상관관계를 보이지만, 미묘한 사실 오류나 적대적 표현에 속을 수 있어 가끔 인간 감수를 병행하는 것이 바람직합니다.
• 도메인 범위: 현재 데이터셋은 일반 지식과 영어 중심 콘텐츠에 초점을 맞추고 있어, 의료·법률 등 전문 분야와 다른 언어로의 확장은 향후 릴리즈에서 다룰 예정입니다.
• 정적 숨김 스플릿: 숨김 테스트는 과적합을 방지하지만 시간이 지나면 구식이 될 수 있습니다. 저자들은 벤치마크의 난이도를 유지하기 위해 정기적인 업데이트를 계획하고 있습니다.
• 멀티모달 깊이: 현재 시각 QA는 단일 이미지 질문에 국한되어 있으며, 비디오·표와 같은 풍부한 멀티모달 컨텍스트는 다음 버전에서 추가될 예정입니다.

FACTS Leaderboard는 현재 Kaggle에서 운영 중입니다 (https://www.kaggle.com/benchmarks/google/facts). LLM 기반 제품을 개발하고 있다면 한 번 사용해 보고, 실제 세계 다양한 사용 사례에서 모델의 사실성 수준을 확인해 보세요.

Authors

• Aileen Cheng
• Alon Jacovi
• Amir Globerson
• Ben Golan
• Charles Kwong
• Chris Alberti
• Connie Tao
• Eyal Ben‑David
• Gaurav Singh Tomar
• Lukas Haas
• Yonatan Bitton
• Adam Bloniarz
• Aijun Bai
• Andrew Wang
• Anfal Siddiqui
• Arturo Bajuelos Castillo
• Aviel Atias
• Chang Liu
• Corey Fry
• Daniel Balle
• Deepanway Ghosal
• Doron Kukliansky
• Dror Marcus
• Elena Gribovskaya
• Eran Ofek
• Honglei Zhuang
• Itay Laish
• Jan Ackermann
• Lily Wang
• Meg Risdal
• Megan Barnes
• Michael Fink
• Mohamed Amin
• Moran Ambar
• Natan Potikha
• Nikita Gupta
• Nitzan Katz
• Noam Velan
• Ofir Roval
• Ori Ram
• Polina Zablotskaia
• Prathamesh Bang
• Priyanka Agrawal
• Rakesh Ghiya
• Sanjay Ganapathy
• Simon Baumgartner
• Sofia Erell
• Sushant Prakash
• Thibault Sellam
• Vikram Rao
• Xuanhui Wang
• Yaroslav Akulov
• Yulong Yang
• Zhen Yang
• Zhixin Lai
• Zhongru Wu
• Anca Dragan
• Avinatan Hassidim
• Fernando Pereira
• Slav Petrov
• Srinivasan Venkatachary
• Tulsee Doshi
• Yossi Matias
• Sasha Goldshtein
• Dipanjan Das

Paper Information

• arXiv ID: 2512.10791v1
• Categories: cs.CL, cs.AI
• Published: December 11, 2025
• PDF: Download PDF