[Paper] 조류를 바꾸다: Cross-Architecture Distillation for Diffusion Large Language Models

Source: arXiv - 2604.26951v1

개요

The paper “Turning the TIDE: Cross‑Architecture Distillation for Diffusion Large Language Models” introduces TIDE, the first framework that lets you compress massive diffusion‑based language models (dLLMs) into much smaller models even when the teacher and student have different architectures, attention mechanisms, and tokenizers. By tackling this “cross‑architecture” knowledge transfer, the authors make diffusion models—known for parallel decoding and bidirectional context—practical for everyday developer tools and services.

주요 기여

• Cross‑architecture distillation framework (TIDE): 이 프레임워크는 이질적인 교사‑학생 쌍(밀집 vs. MoE, 다른 토크나이저, 다른 어텐션 스타일) 간에 작동합니다.
• TIDAL: 훈련 진행 상황 및 diffusion timestep에 따라 증류 강도를 조절하는 동적 스케줄로, 노이즈가 변함에 따라 교사의 신뢰도가 변하는 것을 반영합니다.
• CompDemo: 교사의 컨텍스트를 풍부하게 하는 보완적인 마스크‑분할 기법으로, 학생이 강하게 마스크된 입력을 볼 때 예측을 개선합니다.
• Reverse CALM: 청크 수준 가능도 매칭을 뒤집는 새로운 크로스‑토크나이저 손실로, 경계가 있는 그래디언트를 제공하고 diffusion 과정 양쪽 끝에 내장된 “노이즈 필터” 역할을 합니다.
• 8개의 벤치마크에 대한 실증적 검증 결과, 강력한 베이스라인 대비 평균 +1.53 % 향상을 보였으며, 코드 생성에서 48.78 % HumanEval 점수를 기록했습니다(자동회귀 베이스라인은 32.3 %).
• 8 B 밀집 및 16 B MoE 교사를 0.6 B 학생 모델로 압축하면서 성능을 유지(또는 초과)함을 입증했습니다.

방법론

1. Teacher‑Student Pairing – 저자들은 교사와 학생을 세 가지 차원에서 다르게 선택합니다:

   • Architecture (dense transformer vs. mixture‑of‑experts).
   • Attention (standard causal vs. bidirectional diffusion attention).
   • Tokenizer (different subword vocabularies).

2. TIDAL (Temporal‑Intensity‑Dependent Adaptive Loss) –

   • 확산 과정에서 각 타임스텝마다 다른 양의 노이즈가 추가됩니다.
   • TIDAL은 증류 손실을 스케일링하여 초기 타임스텝(노이즈가 낮고 교사의 신뢰도가 높은)에서는 강한 감독을, 이후 타임스텝(노이즈가 높은)에서는 약한 안내를 제공하도록 합니다.
   • 이 스케일링은 학습이 진행됨에 따라 점점 증가하여, 학생이 먼저 거친 패턴을 학습하고 이후 세부 사항을 미세 조정할 수 있게 합니다.

3. CompDemo (Complementary Demonstrations) –

   • 학생은 강하게 마스킹된 입력을 받습니다(확산 학습에서 요구되는 대로).
   • CompDemo는 마스크를 상보적인 두 절반으로 나누고, 각각에 대해 교사를 실행한 뒤 출력을 병합합니다. 이는 단일 마스크된 뷰보다 학생에게 더 풍부한 문맥 단서를 제공합니다.

4. Reverse CALM (Cross‑Tokenizer Chunk‑Level Matching) –

   • 전통적인 증류는 토큰 수준 로짓을 정렬하는데, 토크나이저가 다를 경우 실패합니다.
   • Reverse CALM은 토큰을 청크(예: 바이트 페어 그룹)로 묶고 개별 토큰이 아니라 전체 청크의 가능도를 매칭합니다.
   • 손실은 역전되어(학생이 교사의 청크 분포를 예측) 제한되며, 이는 그래디언트 폭발을 방지하고 동시에 확산 노이즈를 필터링합니다.

5. Training Pipeline – 두 개의 이질적인 파이프라인이 구축됩니다: 하나는 dense 교사를 위한 것이고, 다른 하나는 MoE 교사를 위한 것입니다. 두 파이프라인 모두 동일한 학생 아키텍처에 입력되어 프레임워크의 유연성을 보여줍니다.

Results & Findings

• 여덟 개의 다운스트림 벤치마크(추론, 요약, 코드 생성 포함) 전반에 걸쳐 TIDE는 가장 강력한 자동회귀(AR) 증류 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 코드 생성 성능 향상이 특히 눈에 띕니다: AR 베이스라인 대비 약 50 %의 상대적 개선을 달성했으며, 이는 diffusion‑style 병렬 디코딩이 적절히 증류될 경우 세밀한 구문 제약을 포착할 수 있음을 시사합니다.
• 소거 실험 결과, 각 구성 요소(TIDAL, CompDemo, Reverse CALM)가 전체 향상의 약 **0.4–0.6 %**를 차지함을 보여주어, 개선 효과가 개별적인 트릭이 아니라 시너지 효과임을 확인했습니다.

실용적 함의

• Deployable Diffusion LLMs – 기업들은 이제 일반 하드웨어(예: 단일 GPU)에서 diffusion 기반 모델을 실행할 수 있으며, 실시간 코드 어시스턴트나 챗봇과 같이 지연에 민감한 애플리케이션에 매력적인 병렬 디코딩 속도를 유지합니다.
• Tokenizer‑agnostic Transfer – 교차 토크나이저 손실을 통해 기존 대형 교사 모델(예: OpenAI의 GPT‑4 토크나이저)을 재사용하여 더 가볍고 도메인 특화된 토크나이저를 사용하는 학생 모델을 학습할 수 있어 파이프라인 통합이 간소화됩니다.
• Reduced Cloud Costs – 16 B MoE 모델을 0.6 B로 축소하면 메모리와 연산 요구량이 20배 이상 감소하여 SaaS 제공업체의 추론 비용이 직접적으로 낮아집니다.
• Improved Code Generation Tools – HumanEval에서 입증된 향상은 개발자 중심 제품(예: Copilot 스타일 어시스턴트)이 수십억 파라미터로 확장하지 않아도 더 높은 정확성을 달성할 수 있음을 시사합니다.
• Modular Distillation Toolkit – TIDE의 세 가지 플러그인 구성 요소는 독립적으로 채택할 수 있어 팀이 기존 증류 파이프라인에서 TIDAL만 혹은 Reverse CALM만 실험할 수 있습니다.

Limitations & Future Work

• Benchmark Scope – 8개의 벤치마크가 다양하지만 여전히 영어 중심 작업에 초점이 맞춰져 있습니다; 다국어 또는 멀티모달 확장은 아직 테스트되지 않았습니다.
• Training Overhead – 보조 마스크‑분할 및 교차‑토크나이저 계산이 교사 모델에 추가적인 forward pass를 요구해 사전 증류 계산 시간이 증가합니다.
• Student Architecture Fixed – 본 연구는 0.6 B 트랜스포머 하나만 사용했으며, TIDE가 더 작은 모델이나 특화된 학생 아키텍처(예: 인코더‑전용 모델)에도 어떻게 확장되는지는 향후 과제로 남겨두었습니다.
• Noise Scheduling Sensitivity – TIDAL의 하이퍼파라미터(노이즈‑종속 스케일링 곡선)는 신중한 튜닝이 필요합니다; 자동 스케줄링이나 메타‑러닝을 통해 방법을 보다 플러그‑앤‑플레이하게 만들 수 있습니다.

전반적으로 TIDE는 실용적인 크로스‑아키텍처 확산 LLM을 위한 길을 열어, 개발자들이 수십억 파라미터 교사의 막대한 자원 비용 없이도 확산의 속도와 컨텍스트 이점을 활용할 수 있는 구체적인 경로를 제공합니다.

저자

• Gongbo Zhang
• Wen Wang
• Ye Tian
• Li Yuan

논문 정보

• arXiv ID: 2604.26951v1
• 분류: cs.CL, cs.AI, cs.LG
• 출판일: 2026년 4월 29일
• PDF: PDF 다운로드