[Paper] IntAttention: 완전 정수형 어텐션 파이프라인을 통한 효율적인 엣지 추론

Source: arXiv - 2511.21513v1

Overview

Transformers는 많은 AI 서비스의 사실상 백본이 되었지만, 어텐션 블록이 연산량이 많고 메모리를 많이 차지하기 때문에 엣지 디바이스(스마트폰, IoT 게이트웨이, AR 안경)에서 실행하는 것은 여전히 큰 도전 과제입니다. 논문 IntAttention은 비용이 많이 드는 부동소수점 softmax 단계를 없애는 완전 정수 전용 어텐션 파이프라인을 최초로 제안하며, 일반적인 Armv8 CPU에서 최대 3.7배 속도 향상과 61 % 에너지 절감을 달성합니다—모델 재학습 없이 가능합니다.

Key Contributions

• IndexSoftmax: 32개의 엔트리만 갖는 작은 룩업 테이블과 정수 연산을 이용한 새로운 정수 전용 softmax 대체 기법으로, 기존 INT8 파이프라인에서 지연 시간을 지배하던 de‑quantize‑softmax‑re‑quantize 루프를 제거합니다.
• Plug‑and‑play design: 상용 양자화된 Transformer 모델(INT8 가중치/활성화)과 바로 호환되며, 재학습 없이 기존 추론 프레임워크에 바로 삽입할 수 있습니다.
• Sparsity‑aware clipping: 룩업 전에 극단적인 활성화 값을 동적으로 제한하여 수치적 안정성을 유지하면서 정수 범위를 좁게 유지합니다.
• Comprehensive evaluation: 언어 모델(BERT, GPT‑2)과 비전 모델(ViT) 전반에 걸쳐 실제 엣지 하드웨어에서 일관된 속도·에너지 이득을 보이며, 정확도는 FP16 기준보다 <0.5 % 이내로 유지됩니다.
• Open‑source roadmap: 코드와 커널을 공개하여 모바일 SDK와 엣지 AI 런타임에의 채택을 장려합니다.

Methodology

1. Problem identification – INT8 양자화된 Transformer에서 행렬 곱은 빠르게 수행되지만, softmax는 여전히 FP16/FP32로 동작합니다. 정수 스코어를 부동소수점으로 변환하고, 지수 함수를 적용하고, 정규화한 뒤 다시 변환하는 과정이 전체 어텐션 지연 시간의 약 2/3을 차지합니다.
2. Integer‑only softmax (IndexSoftmax) –
   • Clipping: 원시 어텐션 스코어(int32)를 희소성‑인식 임계값에 따라 먼저 클리핑하여 작은 동적 범위에 맞춥니다.
   • Lookup table: 미리 계산된 32‑엔트리 테이블에 클리핑된 정수 범위에 대한 exp(x) 근사값을 저장합니다. 정수 스코어는 이 테이블을 직접 인덱싱해 정수 “의사‑지수” 값을 얻습니다.
   • Normalization: 의사‑지수값들을 (여전히 int32) 합산하고, 정수 곱셈과 오른쪽 시프트를 이용해 역수 팩터로 스케일링함으로써 부동소수점 없이 softmax와 유사한 분포를 구현합니다.
3. Integration – 새로운 softmax는 어텐션 커널의 표준 FP softmax를 대체합니다. 주변 연산(Q·Kᵀ, V·softmax) 모두 정수 영역에 머물러 end‑to‑end INT8 데이터 흐름을 유지합니다.
4. Implementation – Armv8 NEON SIMD 유닛을 위한 최적화 어셈블리 커널을 작성해 룩업과 정규화를 칩 내에서 수행, 메모리 트래픽을 최소화했습니다.

Results & Findings

• Latency: softmax 부분이 전체 어텐션 시간의 ~65 %에서 <10 %로 감소했습니다.
• Accuracy: 모든 벤치마크에서 최종 작업 정확도(예: GLUE 점수, ImageNet top‑1)가 FP16 기준보다 0.3 % 이하로 차이났습니다.
• Scalability: 배치 크기를 1에서 8로 확장해도 이득이 유지되어 실시간(batch‑1)과 마이크로‑배치 추론 시나리오 모두에 적용 가능함을 보여줍니다.

Practical Implications

• Edge AI SDKs: 모바일 프레임워크(TensorFlow Lite, ONNX Runtime)는 IntAttention을 드롭‑인 커널로 채택해 챗봇, 온‑디바이스 번역, AR 인식 등에서 모델 품질을 손상시키지 않으면서 추론 속도를 높일 수 있습니다.
• Battery life: 추론당 에너지 소비가 60 % 감소하면 연속 청취 음성 비서나 실시간 비디오 분석과 같은 애플리케이션의 배터리 수명이 크게 늘어납니다.
• Hardware design: 정수 전용 파이프라인은 부동소수점 유닛이 없는 최신 AI 가속기와 잘 맞아 저비용 ASIC이나 마이크로컨트롤러에 Transformer를 매핑하기가 쉬워집니다.
• Cost‑effective deployment: 기업은 기존 범용 하드웨어에서 더 크거나 더 빈번한 Transformer 질의를 실행할 수 있어, 고가의 클라우드 추론이나 맞춤형 실리콘 도입을 미룰 수 있습니다.

Limitations & Future Work

• Lookup‑table granularity: 32‑엔트리 테이블은 정확도와 메모리 사용량 사이의 절충점이며, 매우 큰 어텐션 헤드에서는 더 정밀한 테이블이나 적응형 스케일링이 필요할 수 있습니다.
• Hardware specificity: 현재 구현은 Armv8 NEON에 최적화돼 있어 RISC‑V, x86 AVX‑512 등 다른 ISA로 포팅하려면 추가 커널 엔지니어링이 필요합니다.
• Dynamic range handling: 희소성‑인식 클리핑은 평가된 모델에 잘 동작하지만, 일부 검색 작업처럼 점수 분포가 크게 치우친 경우 오버플로우·언더플로우가 발생할 수 있어 적응형 클리핑 전략이 요구됩니다.
• Future directions: 저자들은 학습 가능한 클리핑 임계값을 탐색하고, 엔드‑투‑엔드 양자화 인식 학습 파이프라인에 이 방법을 통합하며, GELU와 같은 다른 비선형 연산에도 적용해 완전 정수 Transformer 스택을 구현하는 것을 목표로 하고 있습니다.

Authors

• Wanli Zhong
• Haibo Feng
• Zirui Zhou
• Hanyang Peng
• Shiqi Yu

Paper Information

• arXiv ID: 2511.21513v1
• Categories: cs.LG
• Published: November 26, 2025
• PDF: Download PDF