[Paper] 대규모 최적 터키어 서브워드 전략: 데이터, 어휘, 형태론 상호작용의 체계적 평가

Source: arXiv - 2602.06942v1

개요

토큰화는 원시 텍스트를 신경망 모델이 이해할 수 있는 형태로 변환하는 첫 번째 단계이며, 형태학적으로 풍부한 언어인 터키어에 대해서는 그 설계가 특히 중요합니다. 이 논문은 어휘 크기와 학습 코퍼스 크기를 동시에 변화시키면서 터키어 서브워드 토크나이저에 대한 최초의 대규모 체계적 연구를 제공하고, 감성 분석부터 의존 구문 분석에 이르는 다양한 다운스트림 작업을 평가합니다. 또한 저자들은 특정 토큰화 선택이 성공하거나 실패하는 이유를 설명하는 풍부한 형태학 인식 진단 툴킷을 소개합니다.

주요 기여

• Comprehensive “subwords manifest”: 어휘 크기와 토크나이저 학습 데이터를 동시에 변동시켜 데이터‑어휘‑성능 삼각형을 체계적으로 탐색할 수 있게 함.
• Broad tokenizer comparison: 동일한 파라미터 예산 하에서 WordPiece, 형태소 수준 토크나이저(형태소 경계에서 학습) 및 순수 문자 베이스라인을 벤치마크함.
• Morphology‑aware diagnostics: 토크나이징 품질을 다운스트림 결과와 연결하는 새로운 내재 메트릭(경계 수준 마이크로/매크로 F1, lemma‑atomicity vs. surface hits, over/under‑segmentation 지표, CER/WER, continuation rates, affix‑type coverage)을 제공함.
• Extensive downstream evaluation: 의미 작업(NLI, STS, 감성, NER), 구문 작업(POS 태깅, 의존 구문 분석) 및 전용 형태소 탐지에 대한 테스트를 수행함.
• Open‑source release: 코드, 토크나이저 파이프라인 및 사전 학습 모델이 공개되어 터키어 및 기타 MRL에 대한 향후 연구를 위한 재현 가능한 베이스라인을 구축함.

방법론

1. Data‑Vocabulary Coupling – 저자들은 10 M에서 100 M Turkish 문장에 이르는 여러 훈련 코퍼스를 만들고, 각 코퍼스마다 8 k, 16 k, 32 k, 64 k 토큰 크기의 vocabularies를 가진 토크나이저를 훈련시킵니다. 이를 통해 성능 변화가 데이터 크기와 vocab 크기의 상호작용 때문임을 다른 변수에 의한 영향을 배제하고 확인할 수 있습니다.

2. Tokenizer Families

   • WordPiece: BERT‑style 모델에서 사용되는 표준 서브워드 알고리즘.
   • Morphology‑Level: 고품질 Turkish 형태소 분석기로부터 얻은 형태소 경계에 맞추어 토큰을 강제 정렬합니다.
   • Character Baseline: 각 문자를 토큰으로 취급하여 세분화 정도의 하한선을 제공합니다.

3. Training Regime – 모든 토크나이저는 동일한 원시 Turkish 코퍼스에서 동일한 하이퍼파라미터(예: 학습률, 훈련 단계 수)를 사용해 훈련됩니다. 이를 통해 패밀리 간 파라미터 예산이 일정하게 유지됩니다.

4. Evaluation Suite

   • Intrinsic: 형태소‑인식 툴킷을 사용해 토큰 경계가 실제 형태소 경계와 얼마나 일치하는지 측정하고, 과/과소 세분화를 정량화하며, 편집 거리 기반 점수를 보고합니다.
   • Extrinsic: 동일한 아키텍처를 기반으로 한 파인튜닝된 트랜스포머 모델들을 7개의 다운스트림 작업에 대해 평가하여 실제 성능을 파악합니다.

5. Analysis Pipeline – 상관관계 분석을 통해 내재적 진단 결과와 다운스트림 점수를 연결하고, 각 작업 유형에 가장 중요한 토크나이징 특성을 밝혀냅니다.

Results & Findings

• Vocabulary size matters, but only up to a point – 의미론적 작업에서 8 k에서 32 k 토큰으로 늘리면 눈에 띄는 향상이 나타나지만, 64 k에서는 수익이 감소한다.
• Morphology‑level tokenizers excel on syntax‑heavy tasks – 토크나이저가 형태소 경계를 존중할 때, POS 태깅 및 의존 구문 분석에서 WordPiece 대비 절대 F1 3.2 % 향상을 보인다.
• Character baseline lags on all tasks – 형태소를 완벽히 커버하더라도 상위 수준 단위가 부족하면 모델 효율성과 하위 작업 정확도가 저하된다.
• Data size amplifies benefits – 대규모 학습 코퍼스(≥ 50 M 문장)에서는 형태소 인식 토크나이징의 장점이 더욱 두드러지며, 특히 터키어 NER과 같은 저자원 하위 작업에서 크게 나타난다.
• Diagnostic toolkit predicts performance – 경계 수준 마이크로 F1 및 접사 유형 커버리지는 구문 작업의 하위 F1과 강하게 상관(ρ ≈ 0.78)하며, 세밀한 토큰 경계 품질이 모델 성공을 이끈다는 것을 확인한다.

실용적 시사점

• Model builders can now choose a tokenizer strategy based on task requirements: use a morphology‑aware tokenizer for parsing, POS tagging, or any task where syntactic fidelity is crucial; stick with WordPiece for general‑purpose semantic tasks where a moderate vocab size suffices. → 모델 구축자는 이제 작업 요구에 따라 토크나이저 전략을 선택할 수 있습니다: 구문 분석, 품사 태깅, 혹은 구문 충실도가 중요한 모든 작업에 형태소 인식 토크나이저를 사용하고; 중간 규모 어휘 크기로 충분한 일반 목적 의미 작업에는 WordPiece를 고수합니다.
• Resource‑constrained teams can save compute by opting for a 32 k WordPiece vocab trained on a modest (≈ 20 M sentence) corpus without sacrificing much performance on sentiment or NLI. → 자원 제한이 있는 팀은 약 20 M 문장 규모의 작은 코퍼스로 학습된 32 k WordPiece 어휘를 선택함으로써 계산량을 절감하면서 감성 분석이나 NLI에서 큰 성능 저하 없이 사용할 수 있습니다.
• Pipeline integration – The released tokenizer pipelines can be dropped into existing Hugging Face workflows, allowing developers to swap tokenizers with a single line of code and instantly reap the benefits. → 파이프라인 통합 – 공개된 토크나이저 파이프라인을 기존 Hugging Face 워크플로에 바로 삽입할 수 있어, 개발자가 한 줄의 코드만으로 토크나이저를 교체하고 즉시 이점을 얻을 수 있습니다.
• Cross‑lingual transfer – The methodology and diagnostics are language‑agnostic, offering a blueprint for building effective tokenizers for other agglutinative languages (e.g., Finnish, Hungarian, Korean). → 교차 언어 전이 – 이 방법론과 진단은 언어에 구애받지 않으며, 핀란드어, 헝가리어, 한국어와 같은 다른 교착어에 효과적인 토크나이저를 구축하기 위한 청사진을 제공합니다.

제한 사항 및 향후 연구

• 형태소 분석기 의존성 – 형태소 수준 토크나이저는 고품질 분석기에 의존하며, 이러한 도구가 없는 언어는 동일한 이점을 얻지 못할 수 있습니다.
• 하위 작업 범위 – 스위트는 폭넓지만, 토큰화 효과가 다를 수 있는 생성 중심 작업(예: 기계 번역, 요약)을 제외하고 있습니다.
• 컴퓨팅 예산 – 가장 큰 코퍼스에서 대규모 어휘를 학습하려면 여전히 상당한 GPU 자원이 필요하며, 이는 소규모 팀에게는 부담이 될 수 있습니다.
• 향후 방향으로 저자들이 제시한 내용은 평가를 생성 모델로 확장하고, 외부 분석기에 대한 의존성을 줄이기 위해 비지도 형태소 발견을 탐구하며, 다국어 토크나이저에 진단 툴킷을 적용해 교차 언어 전이 역학을 연구하는 것을 포함합니다.

저자

• Duygu Altinok

논문 정보

• arXiv ID: 2602.06942v1
• 분류: cs.CL, cs.AI
• 출판일: 2026년 2월 6일
• PDF: Download PDF