[Paper] Vision Transformers에서 비단조 스케일링 메커니즘

Source: arXiv - 2511.21635v1

Overview

Vision Transformers (ViTs)는 많은 컴퓨터 비전 시스템에서 기본 백본으로 자리 잡았지만, 커뮤니티는 오랫동안 “깊을수록 좋다”는 가정을 해왔습니다. 이 논문은 그 직관을 뒤집어, 일정 수준을 넘어서는 레이어 추가가 실제로 성능을 저하시킬 수 있음을 보여줍니다. ImageNet에서 세 가지 인기 ViT 크기(ViT‑S, ViT‑B, ViT‑L)를 분석함으로써, 저자들은 깊은 모델이 때때로 정체되거나 회귀하는 이유를 설명하는 Cliff‑Plateau‑Climb 패턴을 발견했습니다.

Key Contributions

• 세 단계 스케일링 패턴(Cliff → Plateau → Climb)의 실증적 발견 – ViT‑S, ViT‑B, ViT‑L 전반에 걸쳐 일관되게 나타남.
• 깊어질수록 [CLS] 토큰의 역할이 감소한다는 증거 – 후반 레이어는 패치 토큰들 간의 분산 합의에 더 많이 의존함.
• Information Scrambling Index (ISI) 도입 – 각 레이어에서 토큰 간 정보가 얼마나 섞이는지를 정량화하는 경량 메트릭.
• 깊은 ViT(ViT‑L)가 정보‑작업 트레이드오프를 약 10 레이어 늦게 발생시킨다는 실증 – 추가 깊이는 주로 확산을 증가시킬 뿐 작업 정확도 향상에는 크게 기여하지 않음.
• 오픈소스 툴링(GitHub 레포) – 분석 재현 및 ISI를 모든 트랜스포머 기반 비전 모델에 적용할 수 있도록 제공.

Methodology

1. 모델 스위트 – 동일한 데이터 증강 및 옵티마이저 설정으로 ImageNet‑1k에서 표준 ViT‑S, ViT‑B, ViT‑L을 학습시켜 깊이 효과만을 격리.
2. 레이어별 프로빙 – 각 트랜스포머 블록 뒤에서 토큰 임베딩을 추출하고 다음을 측정:
   • [CLS] 토큰에 대한 선형 프로브의 분류 정확도.
   • 전체 패치 토큰을 집계(예: 평균 풀링)한 프로브의 정확도.
3. Information Scrambling Index – 각 레이어마다 ISI는 self‑attention 연산 전후 토큰 표현 간 평균 코사인 유사도를 attention 행렬의 엔트로피로 정규화하여 계산. 높은 ISI는 토큰 간 강한 정보 혼합(스크램블링)을 의미.
4. 단계 감지 – 정확도와 ISI 곡선을 플롯하여 “Cliff”(급격한 하락), “Plateau”(평탄 구간), “Climb”(점진적 회복) 단계를 찾음.
5. 모델 간 비교 – 모델 크기별로 단계들을 정렬하여 깊이에 따라 각 구간이 언제 시작되는지 확인.

Results & Findings

• Cliff‑Plateau‑Climb 패턴: 세 ViT 모두 [CLS] 기반 정확도가 초기 단계에서 급격히 감소(Cliff)하고, 이후 성능 변화가 거의 없는 평탄 구간(Plateau), 마지막 레이어에서 약간 회복(Climb)하는 모습을 보임.
• CLS 토큰 주변화: Cliff 이후 [CLS] 토큰에 대한 선형 프로브의 예측력이 급감하는 반면, 전체 패치를 풀링한 프로브는 계속 개선되어 모델이 중앙집중형에서 분산형 표현으로 전환됨을 시사.
• ISI 추세: Cliff 동안 ISI가 급상승(높은 스크램블링), Plateau에서 안정화, Climb 동안은 완만히 증가. ViT‑L의 ISI 곡선은 약 10 레이어 오른쪽으로 이동해 동일 수준의 토큰 혼합에 더 오래 걸림을 보여줌.
• 깊이와 성능: Plateau 이후 레이어를 추가해도 수익이 감소; 추가 레이어는 정확도 향상보다 확산(ISI 상승)만을 주로 증가시킴.
• 진단력: ISI는 모델이 Plateau에 머무를 때를 감지할 수 있어, 단순히 블록을 더 쌓기보다 attention 헤드 변경이나 토큰 집계 방식 재설계가 더 효과적일 수 있음을 제안.

Practical Implications

• 모델 사이징: 프로덕션 파이프라인(엣지 추론, 클라우드 서비스 등)에서는 정확도 향상이 미미하고 지연·메모리 사용이 증가하는 깊은 변형보다 Plateau 단계에서 멈추는 것이 비용 효율적일 수 있음.
• 아키텍처 튜닝: 설계자는 학습 중 ISI를 빠른 sanity check로 활용 가능. ISI가 일찍 정체된다면 cross‑token consensus 메커니즘(예: 토큰‑별 게이팅, 계층적 풀링) 도입을 고려하고, 단순 깊이 증가보다는 이를 선택.
• 전이 학습: 사전 학습된 ViT를 미세 조정할 때, 여전히 Climb을 보이는 후반 레이어에 집중하면 다운스트림 성능이 향상되고, Plateau에 진입한 초기 레이어는 고정해도 무방.
• 하드웨어 할당: ViT‑L의 실제 유용 깊이가 명목 깊이보다 약 10 레이어 짧다는 점을 알면 GPU/TPU 메모리 예산 및 배치 크기 결정을 최적화할 수 있음.
• 새로운 설계 목표: 논문은 깨끗한 단계 전이라는 설계 목표를 제시하며, 학습된 깊이 임계값 이후 CLS 중심 처리에서 분산 토큰 처리로 명시적으로 전환하는 하이브리드 모델 개발을 고무함.

Limitations & Future Work

• 데이터셋 범위: 실험이 ImageNet‑1k에만 국한돼 있어, Cliff‑Plateau‑Climb 동역학이 더 크고 다양한 데이터셋(예: ImageNet‑21k, COCO)에서도 동일하게 나타나는지는 미확인.
• 아키텍처 다양성: vanilla ViT만 조사했으며, 최신 하이브리드(예: Swin, DeiT, Conv‑ViT)에서는 다른 단계 행동을 보일 가능성이 있음.
• ISI 세분성: ISI는 토큰 혼합을 포착하지만 의미적 정렬을 직접 측정하지는 않음; 향후 메트릭은 스크램블링과 클래스‑특정 정보 흐름을 결합할 수 있음.
• 개입 연구: 논문은 진단에 머물며, 다음 단계로 attention 패턴이나 토큰 집계 전략을 수정해 단계 전이를 의도적으로 조절하고 성능 향상을 검증하는 연구가 필요함.

저자들은 전체 코드와 분석 스크립트를 제공하므로, 관심 있는 개발자는 ISI 진단을 자신의 트랜스포머 파이프라인에 바로 적용해 실험을 시작할 수 있습니다.

Authors

• Anantha Padmanaban Krishna Kumar

Paper Information

• arXiv ID: 2511.21635v1
• Categories: cs.LG, cs.AI, cs.CV
• Published: November 26, 2025
• PDF: Download PDF