[Paper] ShapleyLaw: 게임 이론적 접근을 통한 다국어 스케일링 법칙

Source: arXiv - 2603.17945v1

개요

다국어 언어 모델은 여러 언어가 혼합된 데이터를 사용해 학습되며, 각 언어의 비율—그것의 mixture ratio—은 최종 모델의 성능에 큰 영향을 미칩니다. 논문 **“ShapleyLaw: A Game‑Theoretic Approach to Multilingual Scaling Laws”**는 각 언어를 협력 게임의 플레이어로 간주하고 전체 손실 감소에 대한 실제 기여도를 측정함으로써 최적의 혼합 비율을 예측하는 새로운 방법을 소개합니다.

주요 기여

• Game‑theoretic framing: 다국어 사전학습을 각 언어의 기여도를 Shapley 값으로 정량화하는 협력 게임으로 모델링합니다.
• ShapleyLaw scaling law: 교차 언어 전이 효과를 명시적으로 포함하는 다국어 스케일링 법칙을 도출하며, 이는 기존 스케일링 법칙이 무시했던 부분입니다.
• Accurate prediction: ShapleyLaw가 다양한 혼합 비율에 걸쳐 테스트 손실을 기존 베이스라인보다 더 정확하게 예측함을 보여줍니다.
• Mixture‑ratio optimization: ShapleyLaw를 사용해 언어 비율을 선택하면 하위 다국어 벤치마크에서 일관되게 손실이 낮아짐(즉, 성능이 향상됨)을 입증합니다.
• Extensive empirical validation: 여러 다국어 코퍼스(예: mC4, CC100)와 모델 크기(125 M에서 2 B 파라미터)에서의 실험을 통해 방법의 견고함을 확인했습니다.

방법론

1. Data‑driven game definition – 특정 사전학습 실행에 대해 payoff은 무작위 추측 기준선에 비해 테스트 손실이 감소한 정도이다. 각 언어의 데이터 조각은 “player”이다.
2. Shapley value estimation – 정확한 Shapley 값을 계산하는 것이 조합적으로 복잡하기 때문에, 저자들은 언어의 층화된 하위 집합을 이용한 Monte‑Carlo 샘플링으로 각 언어의 한계 기여도를 근사한다.
3. Scaling law formulation – 언어 혼합 비율(및 모델 크기)을 기대 손실에 매핑하는 파라메트릭 함수를 피팅하며, 여기에는 Shapley‑derived 기여 항이 포함된다.
4. Optimization loop – 피팅된 법칙을 혼합 비율에 대해 미분하고, 제약 최적화기(투사된 경사 하강법)를 사용해 전체 데이터 예산을 만족하면서 예측 손실을 최소화하는 비율 벡터를 찾는다.

전체 파이프라인은 가볍다: 몇 번의 사전학습 실행(≈ 5–10)만으로도 법칙을 보정할 수 있으며, 이후 예측은 사실상 비용이 들지 않는다.

결과 및 발견

• 예측 정확도: 보류된 혼합 비율에 대한 평균 절대 오차(MAE)가 베이스라인 약 0.12에서 ShapleyLaw 적용 시 약 0.04로 감소했습니다.
• 교차 언어 전이 포착: 스페인어와 포르투갈어처럼 유형학적으로 유사한 언어들이 더 높은 Shapley 값을 받아, 이 방법이 유익한 전이를 정량화한다는 것을 확인했습니다.
• 견고성: 이 법칙은 다양한 모델 아키텍처(Transformer‑Base, Transformer‑XL)와 데이터 소스 전반에 걸쳐 유지되어 일반적인 적용 가능성을 보여줍니다.

실용적 시사점

• Data budgeting: 기업은 이제 주석 또는 크롤링 자원을 보다 지능적으로 할당할 수 있으며, 다국어 모델에 가장 큰 “수익”을 제공하는 언어에 집중할 수 있습니다.
• Model scaling decisions: 모델 크기를 확장할 때, ShapleyLaw는 동일한 혼합 비율을 유지해야 하는지, 아니면 전이 효과를 더 많이 받는 저자원 언어 쪽으로 전환해야 하는지를 알려줍니다.
• Rapid prototyping: 수십 번의 비용이 많이 드는 사전 학습 실험을 수행하는 대신, 개발자는 소규모 실행 몇 번으로 ShapleyLaw를 적용하고, 즉시 모든 혼합 비율에 대한 성능 지형을 탐색할 수 있습니다.
• Fairness & coverage: 각 언어의 실제 기여도를 드러냄으로써, 팀은 언어가 충분히 대표되지 않지만 여전히 가치 있는 경우를 파악할 수 있어 보다 공평한 다국어 제품을 만들 수 있습니다.

제한 사항 및 향후 연구

• 근사 비용: Monte‑Carlo Shapley 추정은 전수 열거보다 훨씬 저렴하지만, 여전히 여러 번의 사전학습 실행이 필요하며, 이는 매우 큰 모델에 대해 부담이 될 수 있습니다.
• 정적 코퍼스 가정: 현재 공식은 사전학습 코퍼스를 고정된 것으로 취급합니다; 동적 데이터 스트림(예: 지속 학습)은 다루어지지 않습니다.
• 언어 세분화: 이 방법은 한 언어의 모든 데이터를 하나의 플레이어로 집계합니다; 향후 연구에서는 방언이나 문자 변형을 별도의 플레이어로 모델링하여 보다 세밀한 전이 효과를 포착할 수 있습니다.
• 손실을 넘어: ShapleyLaw를 다른 다운스트림 메트릭(예: 제로‑샷 전이 정확도, 공정성 점수) 예측에 확장하는 것은 아직 연구가 필요한 분야입니다.

ShapleyLaw는 이론적 게임‑이론적 공정성 개념과 다국어 AI 개발의 실용적 요구 사이의 격차를 메우며, 엔지니어에게 보다 효율적이고 성능이 높은 다국어 모델을 구축하기 위한 데이터‑드리븐 나침반을 제공합니다.

저자

• Xuyang Cao
• Qianying Liu
• Chuan Xiao
• Yusuke Oda
• Pontus Stenetorp
• Daisuke Kawahara
• Makoto Onizuka
• Sadao Kurohashi
• Shuyuan Zheng

논문 정보

• arXiv ID: 2603.17945v1
• 분류: cs.CL
• 출판일: 2026년 3월 18일
• PDF: PDF 다운로드