[Paper] OD-MoE: 온디맨드 전문가 로딩을 위한 캐시 없는 엣지 분산 MoE 추론

Source: arXiv - 2512.03927v1

개요

이 논문은 OD‑MoE라는 새로운 추론 프레임워크를 소개합니다. 이 프레임워크는 Mixture‑of‑Experts (MoE) 언어 모델이 전문가 가중치를 위한 전용 GPU 캐시 없이도 작은 엣지 디바이스에서 실행될 수 있게 합니다. 분산된 노드 풀에서 전문가를 on‑demand로 로드하고, 사전에 어떤 전문가가 필요할지 예측함으로써, OD‑MoE는 GPU 메모리 요구량을 크게 줄이면서도 실용적인 수준의 추론 속도를 유지합니다.

주요 기여

• 캐시‑없는 전문가 로딩: 기존 GPU‑상주 전문가 캐시를 제거하여 < 1 GB 메모리 GPU에서도 MoE 추론을 가능하게 함.
• 분산 온‑디맨드 로딩: 전문가 전송과 계산을 여러 엣지 노드에 병렬화해, 다음 전문가가 필요 직전에 준비되도록 함.
• 초고정밀 모방 예측기: 가벼운 예측기가 여러 레이어 앞선 전문가 활성화를 99.94 % 정확도로 예측, 기존 오프로드 방식보다 훨씬 뛰어남.
• 포괄적 벤치마크: OD‑MoE가 전체 캐시된 MoE 디코딩 처리량의 약 75 %를 달성하면서 GPU 메모리를 1/3만 사용함을 10‑노드 테스트베드에서 검증.

Methodology

1. System Architecture – OD‑MoE는 엣지 디바이스 클러스터를 공유 메모리 패브릭으로 취급합니다. 각 노드는 전체 전문가 풀의 일부를 CPU 메모리에 보관합니다.
2. Parallel Loading & Execution – 현재 레이어의 전문가들이 GPU에서 계산되는 동안, 백그라운드 스레드가 다음에 필요한 전문가들을 원격 노드에서 GPU로 스트리밍합니다. 전문가가 포워드 패스를 마치면 즉시 퇴거되어, 다음 전문가를 위한 공간이 확보됩니다.
3. Emulative Prediction Engine – 각 레이어에서 라우팅 결정을 기다리는 대신, OD‑MoE는 라우팅 로직을 미리 모방하는 작은 “에뮬레이터”를 실행합니다(예: 2‑3 레이어 앞까지). 이 에뮬레이터는 입력 토큰 임베딩과 라우팅 로짓만 사용하며, 이는 계산 비용이 낮아 나중에 활성화될 정확한 전문가 집합을 예측합니다.
4. Just‑In‑Time (JIT) Scheduling – 예측기의 출력은 스케줄러를 구동하여, 각 향후 전문가를 가장 빠르게 전달할 수 있는 노드에 할당합니다. 이를 통해 네트워크 지연과 GPU 메모리 압박을 균형 있게 조절합니다.

전체 파이프라인은 논블로킹으로 설계되었습니다: GPU 연산은 데이터를 기다리며 멈추지 않으며, 네트워크 트래픽은 모델 실행과 겹쳐서 진행됩니다.

결과 및 발견

주요 시사점:

• 예측기의 거의 완벽한 정확도로 인해 전문가 로드가 거의 잘못 예측되지 않아 비용이 많이 드는 롤백을 방지합니다.
• 전송과 연산을 겹쳐 수행함으로써 전문가를 캐시하지 않아 발생하는 속도 손실의 대부분을 회복합니다.
• 메모리 절감 효과가 크게 나타나, Jetson Nano, RTX 3050 등 일반적인 엣지 GPU에서도 MoE를 배포할 수 있게 됩니다.

실용적 시사점

• Edge AI services: 개발자는 이제 저비용 IoT 게이트웨이에서 정교한 LLM‑style 어시스턴트를 호스팅할 수 있어, 클라우드 왕복 없이 장치 내에서 프라이버시를 보호하는 추론을 가능하게 합니다.
• Scalable inference farms: 저렴한 엣지 노드들의 군집이 대규모 MoE 모델을 공동으로 서비스함으로써, 비용이 많이 들고 메모리가 큰 GPU 서버에 대한 의존도를 낮출 수 있습니다.
• Dynamic workload balancing: JIT 스케줄러는 전력 예산이나 네트워크 혼잡을 고려하도록 확장될 수 있어, OD‑MoE를 모바일 또는 배터리 구동 장치에 적합하게 만듭니다.
• Simplified deployment pipelines: 캐싱을 위해 “인기” 전문가를 미리 선택할 필요가 없으며, 시스템이 런타임에 활성화 패턴을 자동으로 학습해 엔지니어링 오버헤드를 줄입니다.

제한 사항 및 향후 연구

• 네트워크 의존성: 노드 간 대역폭이나 지연 시간이 급증하면 성능이 저하됩니다; 논문에서는 고속 LAN을 가정합니다.
• 예측기 오버헤드: 경량임에도 불구하고, 에뮬레이션 예측기는 추가 연산을 발생시켜 초저전력 CPU에서는 눈에 띌 수 있습니다.
• 10노드 이상 확장성: 실험은 10노드까지 진행했으며, 더 큰 클러스터에서는 스케줄링 복잡성과 경쟁이 발생할 수 있습니다.
• 모델 유형: 본 연구는 MoE 기반 LLM에 초점을 맞추었으며, 동일한 온디맨드 로딩을 다른 희소 아키텍처(예: Switch Transformers)에 적용하는 것은 아직 미해결 과제입니다.

향후 연구 방향으로는 적응형 대역폭 인식 스케줄링, 이기종 가속기(TPU, NPU)와의 통합, 그리고 파인튜닝 중에 진화하는 동적 라우팅 정책을 처리하도록 예측기를 확장하는 것이 포함됩니다.

저자

• Liujianfu Wang
• Yuyang Du
• Yuchen Pan
• Soung Chang Liew
• Jiacheng Liu
• Kexin Chen

논문 정보

• arXiv ID: 2512.03927v1
• 분류: cs.DC
• 출판일: 2025년 12월 3일
• PDF: Download PDF