[Paper] 이 언어는 무엇인가요? Ask Your Tokenizer

Source: arXiv - 2602.17655v1

개요

언어 식별(LID)은 다국어 NLP 파이프라인에서 첫 번째 단계이지만, 현재 도구들은 저자원 언어 또는 밀접하게 관련된 방언을 다룰 때 어려움을 겪습니다. 논문 *“What Language is This? Ask Your Tokenizer”*는 UniLID라는 경량 LID 시스템을 제안합니다. UniLID는 대형 언어 모델에서 이미 사용되는 토크나이저를 재활용합니다. 토큰 분할을 언어별로 처리하면서 공통 어휘를 공유함으로써, UniLID는 최소한의 데이터와 연산으로도 높은 정확도를 제공하며, 다국어 애플리케이션을 구축하는 개발자들에게 실용적인 바로‑사용 가능한 솔루션이 됩니다.

주요 기여

• Token‑centric LID: 공유 토크나이저 어휘에 대한 언어 조건부 유니그램 확률을 학습하는 새로운 LID 접근 방식을 소개합니다.
• Data‑efficient training: 언어당 라벨링된 예시가 다섯 개만 있어도 70 % 이상의 정확도를 달성하여 주석 비용을 크게 절감합니다.
• Incremental language addition: 모듈식 유니그램 분포 설계 덕분에 전체 모델을 재학습하지 않고도 새로운 언어를 추가할 수 있습니다.
• Competitive benchmark performance: 표준 LID 데이터셋에서 기존 베이스라인(fastText, GlotLID, CLD3)을 맞추거나 능가합니다.
• Fine‑grained dialect detection: 기존 시스템의 알려진 약점인 밀접하게 관련된 방언을 구분하는 데 큰 향상을 보여줍니다.

방법론

UniLID는 UnigramLM 토크나이제이션 알고리즘을 기반으로 하며, 이 알고리즘은 어휘 집합에서 독립적으로 추출된 토큰들의 시퀀스로 텍스트를 모델링합니다. 저자들은 이 아이디어를 두 가지 방식으로 확장합니다:

1. 언어‑조건부 유니그램 분포 – 각 언어마다 공유 토큰 집합에 대한 별도의 확률 분포를 학습합니다.
2. 언어‑특정 세그멘테이션 – 추론 단계에서 토크나이저는 언어 가설에 따라 동일한 원시 문자열을 다르게 세분화할 수 있으며, 이는 실제 세계의 표기 변형(예: 서로 다른 단어 경계 규칙)을 반영합니다.

학습은 언어당 몇 개의 라벨이 지정된 문장의 가능도를 최대화하는 방식으로 진행되며, 이는 유니그램 카운트만 업데이트하면 되므로 계산 비용이 적습니다. 추론 시 모델은 각 언어의 분포 아래에서 관측된 토크나이제이션의 가능도를 계산하고 가장 높은 점수를 받은 언어를 선택합니다. 어휘가 공유되기 때문에 시스템을 기존 LLM 토크나이제이션 파이프라인에 별도의 전처리 없이 바로 연결할 수 있습니다.

결과 및 발견

• Sample efficiency: 언어당 라벨링된 문장이 단 5개뿐일 때도 UniLID는 이미 70 % 이상의 정확도를 달성하지만, fastText는 약 58 % 수준에 머뭅니다.
• Scalability: 새로운 언어를 추가할 때는 해당 언어의 unigram 분포만 업데이트하면 되며, 전체 모델 크기는 변하지 않았습니다.
• Speed: 추론 단계는 토크나이징 단계에 거의 영향을 주지 않으며, CPU 기준 문장당 약 1–2 ms의 지연만 발생합니다.

이 결과들은 UniLID가 학문적으로 흥미로운 것에 그치지 않고, 데이터가 부족하거나 언어 간 유사성이 높은 상황에서도 실질적인 성능 향상을 제공한다는 것을 보여줍니다.

실용적 함의

• 플러그‑앤‑플레이 다국어 파이프라인: 개발자는 기존 LID 구성 요소를 UniLID로 교체하면 토크나이저를 재설계하지 않고도 저자원 언어 처리 성능을 즉시 향상시킬 수 있습니다.
• 비용 효율적인 데이터 수집: 팀은 소수의 라벨링된 예시만으로 언어 지원을 초기화할 수 있어 새로운 시장으로의 제품 출시를 가속화합니다.
• 향상된 콘텐츠 검토 및 라우팅: 정확한 방언 감지는 사용자 생성 콘텐츠를 적절한 언어별 검토 모델이나 번역 서비스로 전달하는 데 도움이 됩니다.
• 점진적인 언어 확장: SaaS 플랫폼은 핵심 모델을 변경하지 않고도 새로운 언어 또는 지역 변형을 즉시 지원할 수 있습니다.

제한 사항 및 향후 작업

• 공유 토크나이저에 대한 의존: UniLID의 성능은 기반 토크나이저의 품질에 좌우됩니다; 설계가 부실한 어휘는 구별 능력을 제한할 수 있습니다.
• 유니그램 가정: 토큰을 독립적으로 모델링하면 맥락적 단서를 무시하게 되며, 이는 특히 매우 모호한 스크립트에서 정확도를 더욱 높일 수 있는 정보를 놓치게 됩니다.
• 평가 범위: 이 논문은 선별된 언어와 방언 집합에 초점을 맞추고 있으며, 보다 광범위한 실제 환경 테스트(예: 잡음이 많은 소셜 미디어 텍스트)는 아직 탐구되지 않았습니다.

향후 연구 방향으로는 프레임워크를 서브워드 또는 문자 수준 n‑gram 모델로 확장하고, 가벼운 맥락 신호를 통합하며, UniLID를 실제 규모의 다국어 시스템에서 벤치마킹하는 것이 포함됩니다.

저자

• Clara Meister
• Ahmetcan Yavuz
• Pietro Lesci
• Tiago Pimentel

논문 정보

• arXiv ID: 2602.17655v1
• 분류: cs.CL
• 출판일: 2026년 2월 19일
• PDF: Download PDF