[Paper] 대형 언어 모델에 의한 지리적으로 분산된 추론을 위한 자원 할당 최적화

Source: arXiv - 2512.21884v1

개요

대형 언어 모델(LLM)은 인상적인 AI 기능을 제공하지만, 추론을 실행하려면 강력한 GPU가 필요해 비용이 많이 듭니다. PETALS 시스템은 인터넷에 흩어져 있는 저사양 GPU 여러 대에 LLM을 분할하여 실행할 수 있음을 보여주었지만, 얻는 속도는 각 모델 블록이 어디에 위치하는지와 어떻게 추론 요청을 라우팅하느냐에 달려 있습니다. 이 논문은 그 자원 할당 문제에 대한 최초의 체계적인 연구를 제시하며, 증명 가능한 좋은 알고리즘과 GPU 팜 없이도 개발자가 실험할 수 있는 경량 시뮬레이터를 제공합니다.

주요 기여

• Performance models that accurately predict inference latency for any block‑placement + routing configuration, validated on real PETALS deployments. → 성능 모델은 블록 배치 + 라우팅 구성에 대해 추론 지연 시간을 정확히 예측하며, 실제 PETALS 배포에서 검증되었습니다.
• Formal problem formulation: block placement + request routing cast as a mixed‑integer linear program (MILP) and proven NP‑hard. → 형식적인 문제 정의: 블록 배치와 요청 라우팅을 혼합 정수 선형 프로그램(MILP)으로 모델링하고 NP‑hard임을 증명했습니다.
• Polynomial‑time algorithm with a guaranteed approximation ratio for the offline (static) allocation problem. → 다항식 시간 알고리즘은 오프라인(정적) 할당 문제에 대해 보장된 근사 비율을 제공합니다.
• Online adaptation that reacts to incoming request streams while preserving the same performance bound under bounded load. → 온라인 적응은 들어오는 요청 스트림에 반응하면서 제한된 부하 하에서 동일한 성능 한계를 유지합니다.
• CPU‑only simulator that mimics distributed LLM inference on GPU servers, enabling large‑scale “what‑if” studies without expensive hardware. → CPU 전용 시뮬레이터는 GPU 서버에서의 분산 LLM 추론을 모방하여, 고가의 하드웨어 없이 대규모 “what‑if” 연구를 가능하게 합니다.

방법론

1. System Modeling – 저자들은 LLM 추론 파이프라인을 블록(예: transformer 레이어)으로 분해하여 어느 서버에든 배치할 수 있게 합니다. 그들은 두 가지 지연 원인을 포착합니다: (a) computation latency(서버 GPU 속도에 의존) 및 (b) communication latency(서버 간 네트워크 왕복 시간).

2. Empirical Calibration – 이질적인 머신 몇 대에서 마이크로‑벤치마크를 실행함으로써 블록 크기와 네트워크 대역폭을 지연 시간에 매핑하는 간단한 선형 모델을 피팅합니다. 이후 이 모델들을 보지 못한 배치에 대해 교차 검증하여 신뢰성을 확보합니다.

3. Optimization Formulation – 배치‑라우팅 결정은 MILP 형태로 표현됩니다: 이진 변수는 블록이 특정 서버에 존재하는지를 나타내고, 흐름 변수는 요청이 블록들을 어떻게 통과하는지를 인코딩합니다. 목표는 최악‑케이스(또는 평균) 추론 시간을 최소화하는 것입니다.

4. Algorithm Design – 현실적인 클러스터에서는 MILP를 정확히 푸는 것이 계산적으로 불가능하므로, 저자들은 greedy‑plus‑local‑search 휴리스틱을 개발했습니다. 이 알고리즘은 다항 시간 내에 실행되며, 최적 해의 일정 상수 배 이내임을 증명합니다.

5. Online Extension – 오프라인 솔루션을 주기적으로 현재 부하 스냅샷으로 재최적화함으로써 온라인 스케줄러로 전환합니다. 이론적 분석에 따르면 부하가 알려진 한계치를 초과하지 않는 한 동일한 근사 보장이 유지됩니다.

6. Simulation Platform – 가벼운 CPU‑전용 시뮬레이터가 보정된 성능 모델을 구현하여, 저자들이 수천 개의 배치 시나리오를 빠르게 평가하고 최신 PETALS 스케줄러와 비교할 수 있게 합니다.

결과 및 발견

주요 요점

• 보정된 모델은 다양한 지리적 설정에서 ±5 % 이내의 지연을 예측합니다.
• 소규모 클러스터(≈ 30대 저사양 GPU)에서도 최적화된 배치를 사용하면 30‑40 % 지연 감소를 확인했습니다.
• 온라인 스케줄러는 작업 부하 변화에 몇 초 내에 대응하며 동일한 성능 보장을 유지해, 정적 계획이 반드시 필요한 것은 아니라는 것을 입증했습니다.

실용적인 시사점

• 비용 효율적인 LLM 서비스 – 기업은 데이터센터 지역 전역에 저렴한 머신(예: 소비자용 RTX 3060)으로 구성된 “GPU‑pool”을 구축하고도 거의 최적에 가까운 지연 시간을 달성할 수 있어 클라우드 GPU 비용을 최대 **40 %**까지 절감할 수 있습니다.
• 에지 인식 AI – 지연 시간에 민감한 애플리케이션(예: 실시간 코드 어시스턴트, 챗봇)을 개발하는 개발자는 가장 연산량이 많은 블록을 사용자에 가깝게 배치하고, 가벼운 블록은 비용이 저렴한 백엔드로 라우팅하여 속도와 비용을 균형 있게 조절할 수 있습니다.
• 간소화된 DevOps – 오픈‑소스 시뮬레이터를 통해 팀은 새로운 노드 추가, 대역폭 변경 등 “what‑if” 시나리오를 하드웨어를 실제로 프로비저닝하지 않고도 평가할 수 있어 용량 계획을 가속화합니다.
• 프레임워크 통합 – 이 알고리즘은 충분히 가벼워 기존 모델‑병렬 런타임(예: DeepSpeed, Megatron‑LM)에 플러그인 스케줄러로 삽입할 수 있어 즉각적인 성능 향상을 제공합니다.

제한 사항 및 향후 연구

• 정적 네트워크 가정 – 모델은 네트워크 지연/대역폭을 링크당 고정값으로 간주합니다; 실제 혼잡은 이를 위반할 수 있어 적응형 측정이 필요합니다.
• 동질적인 블록 세분화 – 연구에서는 각 트랜스포머 레이어를 하나의 블록으로 가정합니다; 보다 세밀한 파티셔닝(예: 서브 레이어 샤딩)은 추가 이득을 제공할 수 있지만 최적화를 복잡하게 합니다.
• 대규모 클러스터에 대한 확장성 – 다항식 알고리즘은 수십 개 노드까지는 확장되지만, 수백 개의 이기종 서버를 다루려면 추가적인 계층적 또는 분산 휴리스틱이 필요할 수 있습니다.
• 보안 및 프라이버시 – 모델 블록을 공용 네트워크에 배포하면 모델 유출에 대한 우려가 생깁니다; 향후 연구에서는 이와 관련해 암호화된 추론이나 안전한 다자간 계산을 탐구할 수 있습니다.

전반적으로, 이 연구는 비용을 크게 늘리지 않고도 대규모 언어 모델을 서비스하려는 모든 사람에게 구체적이고 수학적으로 기반을 둔 툴킷을 제공합니다.

저자

• Tingyang Sun
• Ting He
• Bo Ji
• Parimal Parag

논문 정보

• arXiv ID: 2512.21884v1
• Categories: cs.DC, cs.AI, cs.NI
• Published: 2025년 12월 26일
• PDF: PDF 다운로드