[논문] 형식 언어 과제의 학습 가능성을 인과적으로 평가

Source: arXiv - 2606.09822v1

개요

언어 모델은 다중 작업 학습자로서 훈련 과정에서 다양한 능력을 습득합니다. 근본적인 질문은 특정 작업을 학습하는 데 얼마나 많은 작업‑특정 데이터가 필요한가 하는 것입니다. 자연어에 대해 이 질문에 답하기는 어렵습니다. 작업을 명확히 구분하기 힘들고 서로 혼동될 수 있기 때문입니다. 데이터 빈도와 학습 가능성 사이의 관계를 엄밀히 조사하기 위해, 우리는 확률적 유한 자동기에서 유도된 형식 언어라는 통제된 환경을 사용합니다. 이는 표준 상관관계 평가 방법이 본질적으로 결함이 있음을 보여주는 방법론적 테스트베드 역할을 합니다. 인과 분석을 가능하게 하기 위해, 우리는 목표 속성이 샘플링된 코퍼스에 얼마나 자주 나타나는지를 제어할 수 있는 대수적 객체인 binning semiring을 도입합니다. 실험 파이프라인을 인과 그래프 모델로 공식화하고, 특정 하위 작업의 학습 가능성을 측정하기 위해 분해된 Kullback‑Leibler 발산 지표를 도출합니다. 우리의 실험은 인과적 개입 없이 학습 가능성을 평가하면 상관관계 분석의 혼동 변수 때문에 잘못된 결론에 도달한다는 것을 보여주며, 자연어 환경에서 상관관계 함정에 대한 경고를 제공합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다.

• cs.CL
• cs.FL

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

이 연구는 cs.CL 분야의 발전에 기여합니다.

저자

• Vésteinn Snæbjarnarson
• Anej Svete
• Josef Valvoda
• Reda Boumasmoud
• Brian DuSell
• Ryan Cotterell

논문 정보

• arXiv ID: 2606.09822v1
• 분류: cs.CL, cs.FL
• 발표일: 2026년 6월 8일
• PDF: Download PDF