[Paper] World Models 없이 세계 속성: 정적 Word Embeddings의 Co-occurrence Statistics에서 공간 및 시간 구조 복원

Source: arXiv - 2603.04317v1

Overview

이 논문은 대형 언어 모델(LLM)이 도시의 위치나 역사적 인물의 시대를 “알아내는” 놀라운 능력이 모델 자체에서 비롯된 것인지, 아니면 원시 텍스트에 이미 내재된 패턴 때문인지를 조사한다. 고전적인 정적 단어 임베딩(GloVe 및 Word2Vec)을 선형 회귀로 탐색함으로써, 저자는 깊은 신경망 구조 없이도 상당량의 지리적·시간적 정보를 추출할 수 있음을 보여준다. 이는 많은 “세계 지식”이 이미 단어 동시 발생 통계에 잠재되어 있음을 시사한다.

주요 기여

• 정적 임베딩에서 세계 사실(도시 좌표, 출생 연도)의 복구 가능성을 입증 (ridge‑regression 탐지기 사용).
• 신호 강도 정량화: 지리적 위치에 대해 R² = 0.71‑0.87, 연도 예측에 대해 R² = 0.48‑0.52.
• 어휘적 기울기(예: 국가명, 기후 관련 용어)를 공간/시간 정보의 주요 전달자로 식별.
• 선형 탐지기 성능만으로는 LLM의 “세계 모델” 표현을 입증하기에 충분하지 않음을 보여줌.
• 체계적인 분석 파이프라인 제공(의미 이웃 검사, 부분공간 제거)으로 다른 탐지 연구에 재사용 가능.

방법론

1. 임베딩 – 이 연구는 널리 사용되는 두 정적 모델인 GloVe (Common Crawl에서 학습)와 Word2Vec (Google News에서 학습)를 사용합니다.
2. 목표 변수 –
   • 지리: 1,000개 이상의 전 세계 도시의 위도와 경도 (GeoNames에서 제공하는 실제값).
   • 시간: 2,000명 이상의 유명 역사 인물의 출생 연도 (Wikipedia 인포박스에서 수집).
3. 선형 프로빙 – 각 목표 변수마다, 단어 벡터의 무작위 80 %를 훈련 데이터로 사용해 릿지 회귀 모델을 학습하고, 남은 20 %를 테스트합니다. R² 점수는 임베딩 공간이 설명할 수 있는 분산의 정도를 측정합니다.
4. 해석 가능성 검증 –
   • 의미 이웃 분석: 도시 벡터와 가장 가까운 이웃 단어들을 살펴보아 지리적 연속성을 형성하는지 확인합니다 (예: “Paris”가 “Berlin”, “Rome”에 가깝게 위치).
   • 서브스페이스 절제: 국가명이나 기후 용어와 가장 상관관계가 높은 차원들을 0으로 만들어 프로브 성능이 얼마나 감소하는지 테스트함으로써, 신호를 유발하는 어휘적 특징을 밝혀냅니다.

모든 단계는 표준 Python 라이브러리 (NumPy, scikit‑learn)를 사용해 구현되며, 사전 학습된 정적 임베딩만 필요합니다—파인튜닝이나 대규모 연산이 필요하지 않습니다.

결과 및 발견

소거 실험 결과, 국가 이름과 정렬된 차원을 제거하면 지리적 R²가 약 30 % 감소함을 보여주며, 이러한 어휘적 단서가 복원된 구조의 핵심임을 확인한다. 시간적 탐지는 단일 어휘 그룹에 덜 민감하여 보다 확산된 신호를 나타낸다.

Practical Implications

• Feature engineering for downstream NLP – 간단한 정적 임베딩은 지오태깅, 역사 텍스트 분석, 추천 시스템 등과 같은 작업에 대해 위치 또는 시대 단서를 저비용으로 제공할 수 있으며, 무거운 LLM에 의존할 필요가 없습니다.
• Benchmark design – 연구자들은 정적 임베딩에 대한 선형 프로브 성능을 기준선으로 삼아야 하며, LLM의 “world‑model” 능력을 주장하려면 더 강력한 증거가 필요합니다(예: 비선형 프로빙, 인과적 개입).
• Data‑driven lexicon building – 식별된 어휘 그라디언트를 활용하여 대규모 LLM이 없는 저자원 언어를 위한 도메인 특화 가제트 또는 시간적 어휘를 만들 수 있습니다.
• Model interpretability tools – 서브스페이스‑절제 기법은 모델이 특정 예측에 의존하는 단어 그룹을 가볍게 진단할 수 있게 해주며, 편향 디버깅에 유용합니다(예: 국가 이름에 과도하게 의존).

제한 사항 및 향후 연구

• 정적 임베딩은 훈련 코퍼스에 제한됩니다; 원본 텍스트의 편향이나 누락은 복원 가능한 세계 지식에 직접적인 영향을 미칩니다.
• 시간 해상도가 거칩니다—프로브는 넓은 출생 연도 추세만 포착하고, 세밀한 역사적 사건은 포착하지 못합니다.
• 선형 프로브만 검토되었습니다; 비선형 또는 어텐션 기반 프로브는 추가 구조를 밝혀내거나 LLM이 실제로 동시 발생 통계 이상을 넘어선다는 것을 확인할 수 있습니다.
• 지리적 범위는 잘 문서화된 도시로 제한됩니다; 농촌이나 토착 지역 이름으로 확장하면 어휘 구배의 한계를 시험할 수 있습니다.

향후 연구에서는 정적 임베딩 기준선을 통제된 LLM 실험과 결합하고, 다국어 코퍼스를 탐색하며, 통계적 암기와는 구별되는 진정한 추론을 분리하는 프로빙 방법을 개발할 수 있습니다.

저자

• Elan Barenholtz

논문 정보

• arXiv ID: 2603.04317v1
• Categories: cs.CL, cs.AI, cs.LG
• Published: 2026년 3월 4일
• PDF: PDF 다운로드