[Paper] 시퀀스 모델에서의 'Induction Bias'에 대하여

Source: arXiv - 2602.18333v1

개요

Transformers는 자연어 처리에서 주목받고 있지만, 최근 연구에 따르면 이들은 state tracking(시퀀스가 진행됨에 따라 일관된 내부 표현을 유지하는 능력)에서 어려움을 겪는 것으로 나타났습니다. 이 논문은 그 문제를 훈련 분포 내부에서(즉, out‑of‑distribution 테스트에만 국한하지 않고) 탐구하고, 다양한 시퀀스 길이와 상태‑공간 크기에서 상태를 추적하는 학습 효율성을 기준으로 Transformers와 고전적인 순환 신경망(RNN)을 비교합니다.

주요 기여

• 대규모 실증 비교: 변환기와 RNN을 상태 추적 작업에 대한 데이터 효율성 측면에서 다양한 감독 체제에 걸쳐 비교.
• 정량적 증거: 변환기는 상태 공간이나 시퀀스 길이가 증가함에 따라 훈련 데이터가 크게 필요하지만, RNN은 훨씬 부드럽게 확장됨을 보여줌.
• 시퀀스 길이 전반에 걸친 가중치 공유 분석: 변환기는 거의 길이‑특정 해결책을 학습하는 반면, RNN은 길이 전반에 걸쳐 학습을 자연스럽게 amortize함을 보여줌.
• 통찰력 있는 진단 도구(예: 길이 간 일반화 곡선, 파라미터 재사용 메트릭) 제공, 실무자가 자신의 모델을 탐색하는 데 재사용 가능.

방법론

1. 합성 상태‑추적 벤치마크 – 저자들은 숨겨진 “상태”가 결정적으로 진화하는(예: 카운터, 유한‑상태 기계) 제어된 작업을 생성하고, 관찰된 시퀀스로부터 이를 추론해야 합니다.
2. 난이도 축 변동 – (a) 숨겨진 상태 공간의 크기와 (b) 최대 시퀀스 길이를 체계적으로 증가시켜 𝑁 × L 조건의 격자를 만듭니다.
3. 모델 군 – 두 가지 전형적인 아키텍처를 평가합니다:
   • Transformer 인코더 (표준 다중‑헤드 자체 주의, 위치 인코딩).
   • RNN (GRU/LSTM 변형).
4. 지도 방식 – 전체 지도(각 타임스텝마다 상태 라벨)부터 희소 지도(마지막 단계에서만 라벨)까지.
5. 데이터 효율성 측정 – 각 조건에 대해 모델을 점진적으로 큰 훈련 데이터 하위 집합으로 학습시키고, 사전 정의된 정확도 임계값에 도달하는 최소 데이터셋 크기를 기록합니다.
6. 길이 간 가중치 공유 분석 – 여러 길이 집합에 대해 학습한 후, 동일한 가중치를 보지 못한 길이에 적용하여 성능 저하를 계산하고, 길이 간 지식 전이 정도를 정량화합니다.

결과 및 발견

요약하면, 테스트 분포가 학습 분포와 일치하더라도 Transformers는 상태를 추적하는 학습에서 fundamental inefficiency를 보이며, 통합된, 암묵적인 표현을 구축하기보다 길이‑특정 트릭을 암기하는 데 의존합니다.

Practical Implications

• Model selection for sequential reasoning – 명시적인 상태 추적이 필요한 작업(예: 파싱, 프로그램 실행, 대화 상태 관리)의 경우, RNN‑style 순환이 여전히 데이터 효율성이 높은 선택일 수 있으며, 특히 학습 데이터가 제한된 경우에 그렇다.
• Designing better transformers – 이 연구 결과는 순환, 상대 위치 인코딩, 혹은 명시적인 메모리 모듈을 도입하는 등 length‑agnostic 표현을 촉진하는 아키텍처 조정을 동기부여한다.
• Curriculum learning – 트랜스포머는 길이 간 지식을 공유하는 데 어려움을 겪으므로, 시퀀스 길이를 점진적으로 늘리는 커리큘럼은 데이터 효율성 문제를 완화할 수 있다.
• Benchmarking – 개발자는 표준 NLP 벤치마크에 제어된 상태 추적 프로브를 추가하여 OOD 테스트에서 놓칠 수 있는 숨겨진 약점을 포착해야 한다.
• Resource budgeting – 대규모 사전 학습을 계획할 때, 다운스트림 작업이 장거리 상태 의존성을 포함한다면(예: 코드 생성, 긴 문서 요약) 트랜스포머는 훨씬 더 많은 예제가 필요할 것으로 예상한다.

Limitations & Future Work

• Synthetic tasks – 깨끗한 통찰을 제공하지만, 실제 데이터는 트랜스포머가 일반화하는 데 도움이 되는 추가 구조를 포함할 수 있습니다.
• Model variants – 기본 트랜스포머와 표준 GRU/LSTM 셀만 조사했으며, 최신 아키텍처(예: Performer, Recurrent Transformers)는 다르게 동작할 수 있습니다.
• Scale – 실험은 중간 규모 모델에서 수행되었으며, 규모를 확대(더 많은 레이어, 더 큰 은닉 차원)하면 데이터 효율성 격차가 해소되는지는 아직 미지수입니다.
• Theoretical analysis – 논문은 실증적 증거를 제공하지만, 길이‑특정 학습을 일으키는 “귀납 편향”에 대한 공식적인 특성화는 제시하지 않습니다.

향후 연구에서는 주의를 순환과 결합한 하이브리드 모델을 탐색하고, 길이 불변성을 촉진하는 대체 위치 인코딩을 조사하며, 코드 합성이나 다중 턴 대화와 같은 실제 순차 작업으로 분석을 확장할 수 있습니다.

저자

• M. Reza Ebrahimi
• Michaël Defferrard
• Sunny Panchal
• Roland Memisevic

논문 정보

• arXiv ID: 2602.18333v1
• 카테고리: cs.LG, cs.CL
• 출판일: 2026년 2월 20일
• PDF: PDF 다운로드