[Paper] 초기 표현에 선택적으로 접근하는 Transformers

Source: arXiv - 2605.03953v1

Overview

새로운 Transformer 모델 패밀리인 **Selective Access Transformers (SATFormer)**는 더 깊은 층이 아주 첫 번째 층의 표현을 “엿볼” 수 있게 함으로써—실제로 도움이 될 때만—일반적인 메모리와 속도 비용 없이 성능을 향상시킬 수 있음을 보여준다. 초기 표현 재사용을 상황에 의존하는 검색 문제로 다룸으로써, SATFormer는 다양한 모델 크기에서 기존의 일반 Transformer와 이전의 정적 잔차 기법들을 모두 능가한다.

주요 기여

• Selective gating mechanism는 각 토큰, 헤드, 레이어마다 첫 번째 레이어 값 행렬 (V_1)을 얼마나 주입할지 동적으로 결정합니다.
• Memory‑efficient design: 게이트는 헤드/레이어당 가벼운 스칼라이며, 전체 메모리 사용량을 표준 Transformer와 비슷하게 유지합니다.
• Broad empirical gains: 130 M 파라미터에서 1.3 B 파라미터까지 검증 손실과 제로‑샷 정확도가 일관되게 향상되었으며, 특히 검색‑중심 벤치마크에서 평균 약 +1.5 %의 큰 상승을 보였습니다.
• Interpretability insights: 학습된 게이트를 분석한 결과, 희소하고 깊이에 의존하며 헤드‑별, 작업‑카테고리별 패턴이 나타나 모델이 초기 정보가 언제 그리고 어디서 유용한지를 학습함을 확인했습니다.
• Open‑source implementation (GitHub 링크)는 기존 Transformer 코드베이스에 최소한의 수정만으로 적용할 수 있습니다.

방법론

1. Baseline architecture – 표준 Transformer(프리‑노름, 멀티‑헤드 셀프‑어텐션, 잔차 연결)에서 시작합니다.

2. Preserve the first‑layer value pathway – 첫 번째 레이어의 값 프로젝션 (V_1)을 모든 이후 레이어에서 사용할 수 있도록 유지합니다.

3. Context‑dependent gate – 각 하위 레이어 (l)와 헤드 (h)에 대해, 현재 은닉 상태를 입력으로 하는 작은 피드‑포워드 네트워크를 사용해 스칼라 게이트 (g_{l,h}\in[0,1])를 계산합니다.

4. Selective injection – 레이어 (l)의 어텐션 출력은 다음과 같이 됩니다

   $$\text{output}{l} = \text{Attention}(Q_l,K_l,V_l) ;+; g{l,h},\cdot, V_1$$

   여기서 게이트는 초기 값 기여를 완전히 차단(0)하거나 그대로 통과시키(1)하거나 그 사이의 값을 가질 수 있습니다.

5. Training – 전체 시스템은 일반적인 언어 모델 또는 분류 손실을 사용해 엔드‑투‑엔드로 학습되며, 게이트는 다른 파라미터와 함께 공동 학습됩니다.

6. Efficiency tricks – 게이트는 토큰 위치 전체에 브로드캐스트되므로 추가 연산은 몇 번의 요소별 곱셈에 불과해 처리량을 유지합니다.

결과 및 발견

• 제로샷 정확도가 검색 중심 작업(예: MS‑MARCO, Natural Questions)에서 정적 잔차 대비 약 1.5 퍼센트 포인트 향상되었습니다.
• 처리량은 기존 Transformer 대비 2‑3 % 수준을 유지하고, GPU 메모리 오버헤드는 미미합니다(< 5 %).
• 게이트 분석에 따르면 초기 레이어 값이 중간 레이어의 첫 몇 개 어텐션 헤드에서 어휘 중심 토큰에 많이 사용되지만, 더 높은 수준의 의미를 다루는 깊은 레이어에서는 점차 사라지는 모습을 보입니다—이는 저자들이 가설한 선택적 동작과 정확히 일치합니다.

실용적 함의

• 더 나은 검색 보강 모델 – 정확한 토큰 수준의 단서를 추출하는 검색 또는 QA 시스템을 구축한다면, SATFormer는 추가 인덱싱 구조 없이도 눈에 띄는 정확도 향상을 제공할 수 있습니다.
• 플러그‑앤‑플레이 업그레이드 – 게이팅 모듈은 몇 줄의 코드에 불과합니다; 기존 Transformer 스택(BERT, GPT, T5 등)에 쉽게 적용하여 거의 엔지니어링 오버헤드 없이 성능 향상을 얻을 수 있습니다.
• 비용 효율적인 확장 – 메모리가 중요한 대규모 언어 모델의 경우, SATFormer는 저렴한 정적 잔차 기법과 무거운 밀집 검색 레이어 사이의 중간 지점을 제공합니다.
• 디버깅을 위한 해석 가능성 – 학습된 게이트 패턴을 시각화하면 모델의 어느 부분이 여전히 저수준 어휘 신호에 의존하는지 파악할 수 있어, 모델 내부 조사 및 편향 분석에 도움이 됩니다.

제한 사항 및 향후 작업

• 게이트 세분화 – 현재 게이트는 레이어/헤드 내 모든 토큰 위치에 공유됩니다; 보다 세분화된(토큰별) 게이팅은 더 미묘한 재사용을 포착할 수 있지만 메모리 사용량이 증가합니다.
• 작업 범위 – 이 논문은 언어 모델링 및 검색 중심 벤치마크에 초점을 맞추고 있으며, SATFormer가 생성 중심 작업(예: 요약, 코드 생성)에서 어떻게 성능을 보일지는 아직 확인되지 않았습니다.
• 학습 안정성 – 일부 매우 깊은 구성에서는 가끔 게이트 포화(전부 0 또는 전부 1)가 발생했으며, 이는 학습률을 신중히 조정해야 함을 의미합니다.
• 향후 방향으로는 다중 레이어 초기 표현 풀(첫 번째 레이어에만 국한되지 않음) 탐색, 계층적 게이팅, 그리고 초기 레벨 텍스처 단서가 유사하게 가치 있을 수 있는 비전 트랜스포머에 선택적 접근 아이디어를 적용하는 것이 제안됩니다.

저자

• Skye Gunasekaran
• Téa Wright
• Rui‑Jie Zhu
• Jason Eshraghian

논문 정보

• arXiv ID: 2605.03953v1
• Categories: cs.LG, cs.CL
• Published: May 5, 2026
• PDF: PDF 다운로드