[Paper] 숫자의 표현 기하학

Source: arXiv - 2602.06843v1

개요

논문 The Representational Geometry of Number는 대형 언어 모델(LLM)이 다양한 작업에서 숫자 개념을 내부적으로 어떻게 조직하는지를 조사한다. 숫자를 고차원 공간의 점으로 취급함으로써, 저자들은 작업별 임베딩이 서로 다른 하위 공간을 차지하는 반면, 숫자 간의 관계(예: “보다 큼”, “짝수 vs. 홀수”)는 놀라울 정도로 일관되게 유지된다는 것을 보여준다. 이 통찰은 인지 과학의 두 경쟁 이론—공유된 개념적 매니폴드 vs. 직교적인 작업 공간—을 연결하며, LLM이 일반화와 특수화를 동시에 수행할 수 있는 구체적이고 메커니즘적인 설명을 제공한다.

주요 기여

• 관계‑우선 관점: 공유 구조가 개념 자체가 아니라 개념들 사이의 관계에 존재한다고 제안한다.
• 숫자를 통한 실증적 증거: 크기와 짝/홀수가 여러 하위 작업(예: 산술, 분류, 추론) 전반에 걸쳐 안정적인 선형 방향으로 인코딩된다는 것을 보여준다.
• 부분공간 분해: 각 작업의 숫자 임베딩이 별개의 저차원 부분공간에 존재하지만, 이러한 부분공간들은 서로 선형 변환 가능함을 보여준다.
• 선형 매핑 분석: 간단한 선형 회귀 프레임워크를 도입해 한 작업의 부분공간을 다른 작업에 매핑할 수 있는 정도를 정량화하고, 대부분의 경우 높은 충실도(R² > 0.9)를 드러낸다.
• 기계론적 설명: LLM이 공유 관계 지식과 작업‑특정 유연성을 어떻게 균형 있게 유지하는지에 대한 통합된 설명을 제공하며, 해석 가능성 연구를 위한 새로운 시각을 제시한다.

방법론

1. 모델 선택: 저자들은 여러 인기 있는 트랜스포머 기반 언어 모델(e.g., GPT‑2, LLaMA)을 숫자 중심 작업군(크기 비교, 짝수/홀수 판별, 산술 서술 문제, 수치 추론)에 대해 파인튜닝했습니다.
2. 임베딩 추출: 각 작업마다 최종 트랜스포머 레이어에서 숫자 토큰(예: “seven”, “42”)에 해당하는 은닉 상태 벡터를 수집했습니다.
3. 부분공간 식별: 각 작업의 임베딩에 주성분 분석(PCA)을 적용하여 분산의 95 % 이상을 설명하는 상위 몇 개의 성분을 추출하고, 이를 작업별 부분공간으로 정의했습니다.
4. 관계 탐색: 임베딩으로부터 스칼라 크기와 이진 짝/홀을 예측하도록 선형 프로브를 학습시켰습니다. 이러한 프로브의 방향 벡터(가중치)는 “관계 축”으로 사용되었습니다.
5. 작업 간 매핑: 쌍별 선형 회귀 모델을 구축하여 한 작업의 부분공간 임베딩을 다른 작업의 부분공간으로 변환했습니다. 매핑 품질은 재구성 오류와 관계 축의 코사인 유사도로 평가했습니다.
6. 시각화: t‑SNE와 2‑D PCA 플롯을 통해 숫자들이 작업마다 절대 좌표는 다르지만 일관된 기하학적 패턴(예: 크기에 대한 단조선)을 형성함을 보여주었습니다.

결과 및 발견

• 안정적인 관계 축: 크기와 짝수성에 대한 프로브 가중치는 모든 작업에서 거의 동일했으며(코사인 유사도 > 0.98), 이는 공유된 관계 기하학을 나타낸다.
• 구별되는 부분공간: 각 작업의 임베딩은 고유한 부분공간을 차지했으며, 원시 좌표 공간에서 겹침이 최소했다(평균 부분공간 각도 ≈ 45°).
• 고충실도 선형 변환: 한 작업의 부분공간을 다른 작업에 매핑하면 분산의 90 % 이상을 회복했으며, 변환 후에도 관계 축이 정렬된 상태를 유지했다.
• 작업별 뉘앙스: 크기와 짝수성은 보편적이었지만, 더 복잡한 관계(예: “3의 배수”)는 약하지만 여전히 선형 변환 가능한 패턴을 보여 관계 안정성의 계층 구조를 시사한다.
• 모델에 구애받지 않는 행동: 이 현상은 모델 크기(124 M에서 7 B 파라미터)와 인코더 전용 및 디코더 전용 아키텍처 모두에서 일관되게 나타났다.

실용적 함의

• Transfer learning shortcuts: 관계 구조가 보존된다는 사실을 알면 개발자는 저비용 프록시 작업(예: 짝/홀 판별)으로 모델을 미세조정하고, 학습된 임베딩을 더 비용이 많이 드는 수치 추론 작업에 신뢰하게 재사용할 수 있으며, 단순히 학습된 선형 매핑을 적용하면 된다.
• Debugging & interpretability tools: 크기/짝‑홀에 대한 선형 프로브는 금융, 과학 컴퓨팅, 교육 플랫폼에 LLM을 배포할 때 가벼운 정상성 검사로 활용될 수 있다.
• Modular system design: 엔지니어는 “작업 어댑터”(작은 선형 레이어)를 구축하여 공유된 관계 공간을 다운스트림 애플리케이션의 요구에 맞게 재배치함으로써 전체 모델 재학습 필요성을 줄일 수 있다.
• Safety & bias mitigation: 관계 기하학이 안정적이므로, 체계적인 오류(예: 큰 수의 순위 오류)를 작업별 가중치를 일일이 조사하는 대신 관계 수준에서 식별하고 수정할 수 있다.
• Cross‑modal extensions: 동일한 기하학 원리를 비수치 개념(예: 날짜, 단위, 코드 토큰)에 적용할 수 있어 보다 일관된 멀티태스크 LLM 배포의 길을 열어준다.

제한 사항 및 향후 작업

• 범위가 숫자에만 제한됨: 숫자는 깔끔한 테스트베드를 제공하지만, 관계‑기하학 가설이 추상적이거나 고도로 맥락적인 개념에 얼마나 잘 확장되는지는 아직 불분명합니다.
• 선형 가정: 분석은 선형 매핑에 의존하고 있으며, 보다 복잡한 관계 구조에는 비선형 변환이 필요할 수 있습니다.
• 정적 탐색: 탐색기는 사후에 훈련되었으며, 관계 제약을 훈련 목표에 직접 통합하면 더 강력한 보장을 얻을 수 있습니다.
• 데이터셋 편향: 작업에 비교적 단순하고 합성된 프롬프트가 사용되었으며, 실제 숫자 언어(예: 재무 보고서)는 깨끗한 기하학을 방해하는 노이즈를 도입할 수 있습니다.
• 향후 방향: 프레임워크를 다중모달 모델(시각‑언어)로 확장하고, 계층적 관계 축을 탐구하며, 작업 전반에 관계 기하학을 명시적으로 보존하는 훈련 방식을 설계하는 것 등이 있습니다.

저자

• Zhimin Hu
• Lanhao Niu
• Sashank Varma

논문 정보

• arXiv ID: 2602.06843v1
• 분류: cs.CL, cs.AI
• 출판일: 2026년 2월 6일
• PDF: PDF 다운로드