단고: L1 전용 대형 언어 모델로 2차 언어 습득 연구

소스: arXiv - 2606.19170v1

개요

Dango라는 18억 파라미터 대형 언어 모델을 소개합니다. 이 모델은 제1언어(L1)에서 제2언어(L2)(일본어→영어) 전이 연구를 위한 제어된 실험을 목표로 설계되었습니다. 이전 연구들은 언어 모델에서의 SLA를 탐구했지만, 주로 작은 모델이나 디코더가 없는 모델에 의존했으며, 이는 개방형 텍스트 생성을 제한하고 실제 L2 시뮬레이터로서의 실용성을 낮췄습니다. 우리는 이 규모로 모델을 확장할 때 직면하는 핵심 과제를 지적합니다: L1 습득을 위한 “단일언어” pretraining 코퍼스에 포함된 L2 오염입니다. 이를 해결하기 위해, 영어에 대한 조기 노출을 줄이면서 현실적인 최소 노출을 유지하는 필터링 방법을 제안합니다. 이후 모델은 LLM 생성 L2 학습 수업 자료를 fine‑tune하여 L2 습득 과정을 시뮬레이션합니다. 평가 결과, Dango는 인간과 유사한 L2 생산 패턴을 형성하고, 비필터링 및 표준 다중언어 베이스라인을 능가함을 확인했습니다. 우리는 모델, 데이터, 코드를 공개하여 재현 가능한 계산 SLA 연구와 학습자 대상 애플리케이션을 지원합니다.

주요 공헌

이 논문은 다음과 같은 분야를 다루고 있습니다:

• cs.CL

방법론

자세한 방법론은 원문 논문을 참고하십시오.

실용적 의미

이 연구는 cs.CL의 발전에 기여합니다.

저자

• Shiho Matta
• Yin Jou Huang
• Fei Cheng
• Takashi Kodama
• Hirokazu Kiyomaru
• Yugo Murawaki

논문 정보

• arXiv ID: 2606.19170v1
• Categories: cs.CL
• Published: 2026년 6월 17일
• PDF: 다운로드 PDF