[Paper] 수렴 진화: 서로 다른 Language Models가 유사한 Number Representations를 학습하는 방법

Source: arXiv - 2604.20817v1

Overview

이 논문은 고전적인 단어 임베딩부터 최신 트랜스포머에 이르기까지 놀라울 정도로 다양한 언어 모델들이 왜 거의 동일한 방식으로 숫자를 인코딩하게 되는지를 밝혀냅니다. 학습된 표현들의 푸리에 스펙트럼을 조사함으로써, 대부분의 모델이 2, 5, 10이라는 지배적인 주기를 갖는 주기적 특징을 개발한다는 것을 보여줍니다. 이어서 저자들은 이러한 주기 신호가 실제로 “(n) mod 5는 무엇인가?”와 같은 과제에 언제 유용한지를 깊이 파고들어, 이러한 기하학적 구분 가능성이 나타나는 훈련 조건을 밝혀냅니다.

주요 기여

• Discovery of a universal periodic pattern (periods 2, 5, 10) in number representations across heterogeneous model families.
• Two‑tiered hierarchy: (1) Fourier sparsity—all models exhibit spikes at the key periods; (2) Geometric separability—only some models can linearly separate numbers modulo T.
• Theoretical insight: proved that Fourier sparsity is a necessary but not sufficient condition for mod‑T linear separability.
• Empirical taxonomy of the factors (data, architecture, optimizer, tokenizer) that enable the second tier of separability.
• Identification of two distinct learning routes: (a) co‑occurrence signals in natural text (e.g., “three apples”, “twenty‑four hours”), and (b) multi‑token arithmetic problems that force the model to combine token embeddings.
• Evidence of “convergent evolution”—different models converge on the same representational tricks despite disparate training objectives and structures.

방법론

1. Model Suite – 정적 word2vec/GloVe 임베딩, 선형 RNN, LSTM, 그리고 Transformer‑ 기반 언어 모델(GPT‑스타일)을 포함한 다양한 모델을 학습하거나 파인‑튜닝함.
2. Probing Task – 간단한 분류 프로브를 구성: 토큰 임베딩을 입력으로 받아 기본 정수를 T (mod T) (T ∈ {2, 5, 10}) 로 예측하는 선형 분류기를 사용함.
3. Fourier Analysis – 0‑99 숫자의 임베딩 벡터에 대해 이산 푸리에 변환(DFT)을 적용하여 목표 주기에서의 스파이크를 탐색함.
4. Geometric Test – 프로브의 정확도로 선형 분리 가능성을 측정; 높은 정확도는 주기적 특성이 기하학적으로 선형 결정 경계와 정렬되어 있음을 나타냄.
5. Controlled Experiments – 한 번에 하나씩 요인을 변형(예: 토크나이저 세분화 수준, 옵티마이저 종류, 산술 예제 유무)하여 분리 가능성에 미치는 영향을 분리함.
6. Theoretical Proof – 푸리에 영역에서의 희소성과 선형 분리자의 존재 사이의 관계를 형식화하여, 전자가 필요조건이지만 충분조건은 아님을 증명함.

결과 및 발견

• Fourier 희소성이 보편적으로 나타났으며—모든 모델의 숫자 임베딩이 세 주기에서 명확한 피크를 보였습니다.
• 기하학적 구분 가능성은 크게 달랐습니다. 더 깊은 비선형성을 가진 아키텍처(LSTM, Transformer)와 숫자 동시 발생이나 명시적 덧셈 문제에 모델을 노출시킨 학습 방식은 거의 완벽한 선형 분류를 달성했습니다.
• 옵티마이저 효과: Adam 기반 학습은 SGD보다 더 선명한 Fourier 스파이크와 높은 구분 가능성을 만드는 경향이 있었습니다.
• Tokenizer 세분화가 중요했습니다: 숫자를 여러 토큰으로 분할하는 서브워드 토크나이저(예: “12” → “1”, “2”)는 덧셈 스타일 신호 학습을 촉진하여 구분 가능성을 높였습니다.

Practical Implications

• Prompt Engineering – 모델이 이미 깨끗한 mod‑T 신호를 인코딩하고 있다는 사실을 알면 “홀/짝” 또는 “5의 배수”와 같은 프롬프트를 최소한의 프롬프트만으로 답할 수 있거나, 숨겨진 상태 위에 간단한 선형 읽기 레이어만으로도 답할 수 있음을 시사한다.
• Debugging Numeric Reasoning – 모델이 수치 작업에서 실패할 경우, 그 모델의 푸리에 스펙트럼을 확인하면 기본 표현이 모듈러 추론을 지원할 수 있는지 빠르게 알 수 있다.
• Model Compression & Distillation – 주기적 특성이 저차원이며 해석 가능한 신호이므로, 증류 과정에서 명시적으로 보존할 수 있어 수치 능력을 유지하는 더 작은 모델을 만들 수 있다.
• Tokenizer Design – 강력한 산술 능력이 필요한 애플리케이션(예: 코드 생성, 스프레드시트 어시스턴트)에서는 다중 토큰 숫자 구조를 드러내는 토크나이저를 사용하면 성능을 저비용으로 향상시킬 수 있다.
• Data Augmentation – 사전 학습 코퍼스에 합성 동시 발생 혹은 덧셈 예시를 추가하는 것은 아키텍처를 재설계하지 않고도 기하학적 분리를 유도하는 효과적이고 저비용인 방법이다.
• Safety & Auditing – 많은 모델이 동일한 수치 인코딩에 수렴한다는 이해는 감사자가 다양한 모델 패밀리에서 실패 모드(예: 특정 숫자 끝자리의 체계적 편향)를 예측하는 데 도움이 된다.

제한 사항 및 향후 연구

• 이 연구는 English‑language corpora와 아라비아 숫자에 초점을 맞추고 있으며, 이러한 결과가 다른 숫자 체계를 사용하는 언어나 비아라비아 문자에 어떻게 적용될 수 있는지는 아직 미지수이다.
• 탐지는 mod‑T classification (T = 2, 5, 10)에만 제한되었으며, 다른 숫자 속성(예: 크기 순서, 소수 판별)은 조사되지 않았다.
• 이론적 분석은 linear classifiers를 가정하고 있으며, 비선형 다운스트림 헤드는 주기적 특성을 다르게 활용할 수 있다.
• 향후 연구 방향으로는 multimodal models(예: vision‑language)로 분석을 확장하고, 숫자 표현이 변할 수 있는 continual‑learning scenarios를 탐색하며, 학습 중에 바람직한 주기 구조를 강제하는 explicit regularizers를 설계하는 것이 포함된다.

저자

• Deqing Fu
• Tianyi Zhou
• Mikhail Belkin
• Vatsal Sharan
• Robin Jia

논문 정보

• arXiv ID: 2604.20817v1
• 분류: cs.CL, cs.AI, cs.LG
• 발표일: 2026년 4월 22일
• PDF: PDF 다운로드