[논문] LLM 워드 팩토리 내부

Source: arXiv - 2606.08562v1

개요

Transformer 언어 모델은 서브워드 조각으로 제공된 입력을 처리하지만, 자연어 의미는 보통 단어 수준의 개념에 의존합니다. 디토크나이제이션은 모델이 이 두 사실을 조화시키는 과정으로, 서브워드를 계산을 통해 단어 수준 표현으로 집계합니다. 기존 연구에서는 이 과정이 주로 초기‑중간 레이어에서 일어난다고 밝혀졌지만, 정확한 메커니즘은 아직 규명되지 않았습니다. 우리는 활성화 패칭을 이용한 통제된 쌍 실험을 통해 디토크나이제이션을 깊이 탐구하고, 서로 다른 모델 구성 요소의 기여도를 분리하여 영어 디토크나이제이션을 Llama2‑7B에서 Layer 1에 위치한 두 단계 과정으로 규명했습니다. 어텐션은 최종이 아닌 서브워드들로부터 토큰‑특정 신호를 전달하고, 필요시 순차적 릴레이를 사용합니다. MLP는 이 신호를 로컬 임베딩과 결합합니다. 이 두 단계 구조는 8개 패밀리의 12개 모델에 일반화되지만, 수행되는 깊이는 위치 인코딩 방식에 따라 달라집니다: RoPE 기반 모델은 15 레이어에 걸쳐 디토크나이즈하고, 학습된 절대 위치 인코딩 모델은 510 레이어에 걸쳐 수행합니다. 마지막으로, 초기 레이어 활성화만을 이용해 디토크나이제이션 성공 여부를 판단하는 프로브를 제공하며, 컨텍스트 양에 따라 0.94‑0.97 AUROC를 달성합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.CL

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.CL 분야의 발전에 기여합니다.

저자

• Benzi Busigin
• Yuval Pinter

논문 정보

• arXiv ID: 2606.08562v1
• 분류: cs.CL
• 발표일: 2026년 6월 7일
• PDF: PDF 다운로드