[Paper] Fast‑Slow 효율적인 훈련을 위한 Multimodal Large Language Models의 Visual Token Pruning

Source: arXiv - 2602.03815v1

개요

텍스트와 이미지를 모두 이해할 수 있는 멀티모달 대형 언어 모델(MLLM)을 학습하는 것은 모델이 거대하고 이미지당 수천 개의 시각 토큰을 처리해야 하기 때문에 매우 느립니다. 이 논문은 DualSpeed이라는 “fast‑slow” 훈련 프레임워크를 소개합니다. 이 프레임워크는 훈련 대부분에서 시각 토큰을 가지치기하여 훈련 시간을 크게 단축하면서도 최종 모델이 전체 해상도 이미지에서도 잘 작동하도록 보장합니다.

핵심 기여

• Dual‑mode training architecture: 기존 시각‑토큰‑프루닝(VTP) 기술을 활용해 대부분의 학습을 가속화하는 fast‑mode와, 추론 시 모델 행동의 일관성을 유지하기 위해 전체 시각 토큰을 주기적으로 학습하는 slow‑mode를 결합한 구조.
• Mode isolator: fast‑mode의 프루닝 전용 파라미터가 slow‑mode에 섞이는 것을 방지하는 경량 메커니즘으로, 두 학습 흐름을 명확히 분리합니다.
• Self‑distillation bridge: slow‑mode가 fast‑mode로부터 증류된 지식을 받아, 훨씬 적은 단계로도 빠르게 수렴하도록 합니다.
• Plug‑and‑play design: DualSpeed는 TokenLearner, DynamicViT 등 기존 VTP 방법과 아키텍처를 변경하지 않고 바로 사용할 수 있습니다.
• Empirical gains: LLaVA‑1.5에서는 학습 속도가 2.1× 향상되고, 더 큰 LLaVA‑NeXT에서는 **4.0×**에 달하며, 표준 멀티모달 벤치마크에서 원본 성능의 **≥ 99 %**를 유지합니다.

방법론

1. Fast‑mode (주요)

   • 이미지 인코더가 먼저 조밀한 시각 토큰 집합을 생성합니다.
   • VTP 플러그인(어떤 토큰‑프루닝 알고리즘)으로 작은 부분집합(예: 토큰의 25 %)을 선택하고 나머지는 버립니다.
   • 언어 모델은 이 잘라낸 토큰 시퀀스를 받아 메모리 대역폭과 연산량을 크게 줄입니다.

2. Mode isolator

   • 두 개의 별도 파라미터 “뷰”가 유지됩니다: 하나는 fast‑mode용, 다른 하나는 slow‑mode용입니다.
   • fast‑mode에서의 그래디언트 업데이트는 마스킹되어 slow‑mode의 가중치에 영향을 주지 않으며, 그 반대도 마찬가지입니다.

3. Slow‑mode (보조)

   • 주기적으로(예: 매 N 스텝마다) 동일한 배치를 토큰 프루닝 없이 처리하여 전체 토큰 집합을 모델에 입력합니다.
   • 이 단계는 모델이 전체 시각 컨텍스트를 다루도록 학습하게 하여 학습‑추론 불일치를 없앱니다.

4. Self‑distillation

   • 이미 훨씬 많은 업데이트를 통해 강력한 멀티모달 표현을 학습한 fast‑mode가 교사 역할을 합니다.
   • slow‑mode의 로짓은 KL‑다이버전스 손실을 통해 fast‑mode의 예측과 일치하도록 유도되어, slow‑mode 단계가 적음에도 수렴을 가속화합니다.

5. Training schedule

   • 대부분의 반복이 fast‑mode에서 실행됩니다(≈ 80‑90 %).
   • slow‑mode는 간헐적으로 실행되며, 그 손실은 증류 손실과 결합됩니다.
   • 최종 모델이 전체 시각 토큰 스트림을 사용하므로 추가적인 추론 시간 오버헤드가 발생하지 않습니다.

결과 및 발견

• 정확도 감소는 평가된 모든 작업에서 1 % 미만이며, 슬로우‑모드가 훈련‑추론 격차를 성공적으로 메워줌을 확인한다.
• Ablation 연구에서는 모드 격리기 또는 자체 증류 구성 요소를 제거하면 속도 향상 효과가 감소하고 3‑5 % 성능 저하가 발생함을 보여주며, 이들의 필요성을 강조한다.
• 이 프레임워크는 여러 VTP 플러그인(TokenLearner, DynamicViT 등)과 함께 작동하며 유사한 이점을 제공, 플러그‑앤‑플레이 특성을 입증한다.

Practical Implications

• Faster prototyping: 빠른 프로토타이핑: 팀은 새로운 멀티모달 아키텍처를 대략 절반(또는 그 이하) 정도의 시간 안에 반복 개발할 수 있어 클라우드 컴퓨팅 비용을 크게 절감합니다.
• Scalable training: 확장 가능한 학습: 이전에 다중 GPU 클러스터에서 몇 주가 걸리던 대규모 MLLM이 작은 클러스터에서도 가능해져, 제한된 자원을 가진 스타트업 및 연구실에 문을 엽니다.
• Energy savings: 에너지 절감: 처리되는 시각 토큰 수를 줄이면 GPU 메모리 트래픽과 전력 소모가 감소하여 지속 가능성 목표와 일치합니다.
• Seamless deployment: 원활한 배포: 최종 모델이 전체 시각 시퀀스로 학습되었기 때문에 런타임 페널티가 없습니다—모델을 기존 MLLM과 동일하게 사용할 수 있습니다.
• Compatibility: 호환성: 이미 추론에 VTP를 사용하는 기존 파이프라인은 최소한의 코드 변경(학습 루프를 fast‑slow 스케줄러로 감싸기)만으로 DualSpeed을 채택할 수 있습니다.

제한 사항 및 향후 연구

• Token‑pruning 의존성: 속도 향상의 정도는 토큰을 표현 품질에 손상을 주지 않으면서 얼마나 적극적으로 잘라낼 수 있는지에 달려 있습니다; 매우 세밀한 시각 작업은 잘라내기 비율을 제한할 수 있습니다.
• 스케줄링 휴리스틱: 논문에서는 고정된 fast‑slow 비율을 사용합니다; 손실 수렴에 반응하는 적응형 스케줄은 추가적인 이득을 가져올 수 있지만 탐구되지 않았습니다.
• 다른 모달리티에 대한 일반화: 이 방법은 비전‑언어 모델에 적용되지만, fast‑slow 패러다임을 오디오나 비디오 토큰에 확장하는 것은 아직 미해결 질문입니다.
• 증류 오버헤드: 자체 증류 손실은 추가적인 forward pass를 요구하는데, 전체 학습 비용에 비하면 미미하지만 더 최적화될 여지가 있습니다.

전반적으로 DualSpeed는 개발자와 제품 팀이 의존하는 품질을 손상시키지 않으면서 MLLM 훈련 시간을 크게 단축할 수 있는 실용적인 레시피를 제공합니다. 오픈소스 구현(GitHub 링크는 논문에 포함) 덕분에 자신의 멀티모달 프로젝트에 손쉽게 적용해 볼 수 있습니다.

저자

• Dingkun Zhang
• Shuhan Qi
• Yulin Wu
• Xinyu Xiao
• Xuan Wang
• Long Chen

논문 정보

• arXiv ID: 2602.03815v1
• 분류: cs.CV, cs.LG
• 출판일: 2026년 2월 3일
• PDF: PDF 다운로드