[Paper] Next-Token Prediction의 증명 가능한 장기 이점

Source: arXiv - 2512.07818v1

Overview

현대 언어 모델은 다음 토큰을 예측하도록 학습되지만, 놀랍게도 일관된 장문 텍스트를 생성합니다. 이 논문은 다음 토큰 예측이 표준 순환 신경망(RNN)과 함께 사용할 때 장거리 구조를 포착할 수 있는 본질적인 능력을 가지고 있음을 증명합니다. 즉, 잘 학습된 RNN은 적대자가 임의의 고정된 길이 k 연속 토큰 창을 살펴볼 수 있더라도, 실제 문서와 통계적으로 구별할 수 없는 시퀀스를 생성할 수 있습니다.

Key Contributions

• 장거리 충실도에 대한 이론적 보장: 다음 토큰 손실로 학습된 RNN이 실제 데이터 분포를 충분히 근사하여, 제한된 크기의 알고리즘이 모델에서 나온 k 토큰 창과 원본 코퍼스를 구별할 수 없음을 보여줍니다.
• 다항 크기 모델 경계: 구별 불가능성 특성을 달성하기 위해 필요한 은닉 유닛 및 파라미터 수에 대해 k에 대한 명시적인 다항식 경계를 제공합니다(전체 문서 길이와는 무관).
• 복잡도 이론적 관점: 다음 토큰 학습의 성공을 경험적 미스터리가 아닌 증명 가능한 속성으로 규정하고, 언어 모델링을 계산 학습 이론의 개념과 연결합니다.
• 범용 적용 가능성: 결과는 특수한 변형 없이도 필요한 함수를 표현할 수 있는 모든 RNN 아키텍처(예: vanilla RNN, LSTM, GRU)에 적용됩니다.

Methodology

1. Formal problem setup – 저자들은 문서에 대한 학습 분포와 RNN을 위한 다음 토큰 손실 목표를 정의합니다.
2. Indistinguishability criterion – 제한된 설명 길이(즉, 제한된 계산 자원)를 가진 알고리즘이 길이 k 토큰 창을 받고, 그것이 실제 문서에서 온 것인지 동일한 프리픽스를 조건으로 한 모델에서 온 것인지 판단해야 하는 게임을 도입합니다.
3. Proof strategy –
   • Expressivity argument: 다항 크기의 RNN이 어떤 프리픽스에 대해서도 학습 분포의 정확한 조건부 확률을 인코딩할 수 있음을 보입니다.
   • Optimization guarantee: 다음 토큰 손실을 최소화하면 RNN의 조건부 분포가 실제 분포에 임의로 가깝게 수렴한다는 것을 증명합니다.
   • Complexity bound: 정보 이론적 도구를 사용해 어떤 구별자의 설명 길이가 필요한지를 제한하고, 선택된 모델 크기에 대해 구별자의 성공 확률이 무시할 수준임을 보여줍니다.
4. Parameter scaling analysis – k (창 크기)와 필요한 은닉 차원/가중치 크기 사이의 명시적인 다항 관계를 도출합니다.

증명은 고수준으로 유지되며, 깊은 텐서 미적분을 피해 개발자들이 직관을 따라갈 수 있도록 합니다: 모델이 다음 단어를 충분히 잘 예측한다면, 멀리 떨어진 통계적 의존성도 학습했음이라는 점을 강조합니다.

Results & Findings

• k‑token indistinguishability: 고정된 k에 대해, 다음 토큰 손실로 학습된 다항 크기의 RNN은 동일한 프리픽스를 조건으로 한 경우 어떤 k 연속 토큰에 대한 분포도 실제 데이터 분포와 통계적으로 구별할 수 없습니다.
• Model size scaling: 필요한 은닉 차원은 대략 O(k³) 정도로 성장합니다(정확한 지수는 아키텍처에 따라 다름). 이는 오늘날의 트랜스포머 기반 대형 언어 모델이 사용하는 수십억 파라미터에 비해 적당한 수준입니다.
• Independence from document length: 보장은 임의로 긴 문서에도 적용되며, 시퀀스가 길어짐에 따라 경계가 악화되지 않습니다.

쉽게 말해, 논문은 좋은 다음 토큰 예측이 자동으로 좋은 장거리 일관성을 제공한다는 것을 보여주며, 원하는 일관성을 달성하기 위해 네트워크가 얼마나 커야 하는지를 정량화합니다.

Practical Implications

• Confidence in next‑token training: 개발자는 다음 토큰 손실을 최적화하는 것이 단순한 지름길이 아니라, 장거리 의존성을 근본적으로 포착한다는 점을 신뢰할 수 있습니다. 이는 대규모 언어 모델에서 이 목표를 계속 사용하는 것을 정당화합니다.
• Model sizing heuristics: 다항 경계는 원하는 창 크기에 대한 은닉 크기를 추정하는 경험법칙을 제공합니다(예: 100 토큰 일관성을 보장하려면 수천 정도의 은닉 차원이 충분할 수 있음).
• Efficient architecture choices: 이 이론이 단순 RNN에도 적용되므로, 특정 응용(예: 온‑디바이스 언어 모델링)에서는 잘 튜닝된 RNN이 무거운 트랜스포머를 대체하면서도 장거리 품질을 유지할 수 있음을 시사합니다.
• Benchmark design: 구별 불가능성 프레임워크는 k-토큰 현실성을 테스트하는 새로운 평가 지표를 고안하는 데 영감을 줄 수 있으며, 퍼플렉시티나 인간 평가에만 의존하지 않을 수 있습니다.

Limitations & Future Work

• Assumption of exact optimization: 증명은 RNN이 다음 토큰 손실의 (거의) 전역 최소점에 도달한다는 전제를 필요로 하는데, 실제 확률적 학습에서는 보장되지 않을 수 있습니다.
• Restricted to RNNs: 저자들은 결과가 다른 순환 아키텍처에도 확장될 수 있다고 주장하지만, 현재 배포를 주도하는 어텐션 기반 모델(예: Transformers)은 다루지 않습니다.
• Bound tightness: 다항 경계는 아마도 느슨할 것이며, 실증 연구를 통해 주어진 k에 대한 최소 실용 모델 크기를 확인할 필요가 있습니다.
• Real‑world data complexity: 이론적 학습 분포는 정적이고 잘 정의된 것으로 가정하지만, 자연 언어는 무거운 꼬리 현상과 변화하는 어휘를 가지고 있어 보장에 영향을 줄 수 있습니다.

향후 연구 방향은 트랜스포머 아키텍처에 대한 분석 확장, 최적화 가정 완화, 대규모 코퍼스에서 이론적 크기‑일관성 트레이드오프를 실증 검증하는 것을 포함합니다.

Authors

• Xinyuan Cao
• Santosh S. Vempala

Paper Information

• arXiv ID: 2512.07818v1
• Categories: cs.LG, cs.AI, stat.ML
• Published: December 8, 2025
• PDF: Download PDF