[Paper] 효율적인 Vision Transformer를 위한 주파수 인식 토큰 감소

Source: arXiv - 2511.21477v1

Overview

Vision Transformers (ViTs)는 많은 비전 작업에서 기본 아키텍처가 되었지만, 자체‑어텐션 레이어는 이미지 패치(토큰) 수에 대해 제곱적으로 스케일되어 고해상도 입력에서는 비용이 많이 듭니다. 이 논문은 주파수‑인식 토큰 감소 기법을 소개합니다. 이 기법은 고주파 디테일은 유지하고 저주파 정보를 압축적으로 요약함으로써 토큰 집합을 지능적으로 정리하여 정확도를 희생하지 않으면서 연산량을 크게 줄입니다.

Key Contributions

• 주파수 기반 토큰 분할: 어텐션 맵에 대한 간단한 스펙트럴 분석을 이용해 토큰을 고주파(디테일 풍부)와 저주파(부드러운) 그룹으로 구분합니다.
• 직류(DC) 토큰 집계: 모든 저주파 토큰을 하나의 “DC 토큰”으로 압축하여 핵심 저주파 내용을 보존합니다.
• 랭크 붕괴 및 과도한 스무딩 완화: 고주파 토큰을 유지함으로써 공격적인 토큰 프루닝 시 흔히 발생하는 어텐션 행렬의 저랭크 현상을 방지합니다.
• 포괄적인 실증 검증: ImageNet‑1K, COCO detection, ADE20K segmentation 실험에서 30 % FLOPs 감소와 ≤0.5 % top‑1 정확도 손실(종종 약간의 향상) 을 보였습니다.
• 기존 연구에 대한 분석적 통찰: 저자들은 기존 토큰‑감소 방식(예: 풀링, 클러스터링)을 분석하고 이들의 암묵적 주파수 편향을 밝혀내어, 왜 일부 방법이 세밀한 작업에서 성능이 저하되는지를 설명합니다.

Methodology

1. 스펙트럴 단서 추출: 각 어텐션 레이어에 대해 어텐션 행렬의 특이값을 계산합니다. 큰 특이값은 고주파 성분(날카로운 가장자리, 텍스처)에 해당하고, 가장 작은 특이값은 DC(평균) 성분을 포착합니다.
2. 토큰 분류:
   • 고주파 토큰은 어텐션 기여도가 상위 k 특이벡터와 정렬되는 토큰입니다.
   • 저주파 토큰은 나머지 토큰입니다.
3. 선택적 보존: 고주파 토큰은 그대로 유지되어 트랜스포머 스택을 통과합니다.
4. DC 토큰 생성: 저주파 토큰을 어텐션 스코어에 기반한 가중합으로 집계하여 하나의 DC 토큰을 만듭니다. 이 토큰은 시퀀스에 다시 삽입되어 모델이 전역 컨텍스트를 계속 인식하도록 합니다.
5. 동적 스케줄: 고주파와 저주파 토큰 비율은 단계별로 조정 가능하며(초기 레이어는 더 많은 토큰을 유지하고, 후반 레이어는 더 aggressively 프루닝), 초기 처리에서 세밀한 디테일이 필요하다는 직관에 맞춥니다.
6. 학습 파이프라인: 저자들은 사전 학습된 ViT에 새로운 토큰‑감소 모듈을 추가해 파인‑튜닝하며, 베이스라인과 동일한 손실 함수를 사용하므로 추가 감독이 필요하지 않습니다.

Results & Findings

• 랭크 보존: 감소 후 어텐션 행렬은 균일 토큰 프루닝에 비해 더 높은 유효 랭크를 유지하여 랭크 붕괴 완화를 확인했습니다.
• 과도한 스무딩 감소: 시각화 결과 가장자리 응답이 더 선명하고 텍스처 보존이 향상되어 특히 세그멘테이션 마스크에서 두드러집니다.
• 소거 실험: DC 토큰을 제거하거나 주파수 인식 선택 대신 단순 평균 풀링을 사용할 경우 정확도가 약 1 % 감소하는 등, 스펙트럴 단서의 중요성을 강조합니다.

Practical Implications

• 엣지 디바이스 및 실시간 추론: FLOPs를 약 3분의 1 수준으로 줄이면서 정확도 손실이 거의 없으므로 스마트폰, 드론, AR 헤드셋 등 계산·전력 제한이 있는 환경에서도 ViT를 활용할 수 있습니다.
• 하이브리드 파이프라인: 기존 ViT 기반 백본(예: 객체 탐지나 비디오 분석)에도 주파수‑인식 감소 모듈을 그대로 삽입할 수 있어 전체 모델을 재설계할 필요 없이 성능 향상이 가능합니다.
• 고해상도 입력에 대한 확장성: 토큰 수가 이미지 크기에 비례해 증가하므로, 이 접근법은 4K 이미지를 224×224 입력과 동일한 지연 시간으로 처리할 수 있게 하여 고해상도 의료 영상이나 위성 사진 분석에 새로운 가능성을 열어줍니다.
• 프레임워크 지원: 알고리즘은 표준 선형대수 연산(SVD 또는 파워 이터레이션)만 사용하므로 PyTorch/TensorFlow에 이미 최적화된 연산을 활용할 수 있어 구현 오버헤드가 최소입니다.

Limitations & Future Work

• 스펙트럴 오버헤드: 레이어당 특이값을 계산하는 비용이 일정 수준 추가되며, 저자들은 저랭크 근사로 이를 완화했지만 초저지연 시나리오에서는 여전히 영향을 받을 수 있습니다.
• 정적 주파수 임계값: 현재 설계는 단계별 고주파 토큰 비율을 고정값으로 사용합니다. 입력 콘텐츠에 따라 동적으로 조정하는 방법이 효율성을 더욱 높일 수 있습니다.
• 비전 외 Transformer 일반화: 논문은 ViT에 초점을 맞추었지만, NLP나 멀티모달 Transformer에 주파수‑인식 감소를 적용하는 연구는 아직 진행되지 않았습니다.
• 적대적 교란에 대한 견고성: 토큰 감소가 모델의 견고성에 미치는 영향은 탐구되지 않았으며, 향후 연구에서 흥미로운 방향이 될 수 있습니다.

핵심 요약: 어텐션의 “주파수”를 고려함으로써 모든 패치를 동일하게 다루는 대신, 이 작업은 Vision Transformer를 더 빠르고 자원 친화적으로 만드는 실용적인 드롭‑인 방법을 제공합니다. 대규모 비전 중심 AI 제품을 구축하는 모든 사람에게 관심을 끌만한 진전이라 할 수 있습니다.

Authors

• Dong‑Jae Lee
• Jiwan Hur
• Jaehyun Choi
• Jaemyung Yu
• Junmo Kim

Paper Information

• arXiv ID: 2511.21477v1
• Categories: cs.CV, cs.AI
• Published: November 26, 2025
• PDF: Download PDF