[Paper] 대용량 메모리 풋프린트를 가진 체인 구조 작업 서비스와 Large Foundation Model Serving에의 적용

Source: arXiv - 2604.14993v1

번역할 텍스트를 제공해 주시면, 요청하신 대로 한국어로 번역해 드리겠습니다. (코드 블록이나 URL은 번역하지 않고, 원본 형식과 마크다운 구문은 그대로 유지합니다.)

개요

대형 기반 모델(e.g., GPT‑style LLMs)은 많은 AI 서비스의 핵심이 되고 있지만, 생산 규모에서 서비스를 제공하려면 막대한 GPU 메모리 요구량이 장애가 됩니다. 이 논문은 server‑chain composition 문제—모델 블록을 배치하고 체인 구조 추론 작업을 위한 캐시를 할당하는 방법—를 분리하여, 실제 LLM 서비스 배포에서 지연 시간을 크게 줄이는 효율적이고 증명 가능한 좋은 알고리즘을 제안합니다.

주요 기여

• Problem formulation: “서버 체인 구성(server chain composition)”이라는 정형 모델을 도입하여, 대용량 메모리 사용량을 가진 체인 구조 작업의 파이프라인 병렬 추론에서 블록 배치와 캐시 할당을 포착한다.
• Complexity analysis: 최적 구성 문제는 NP‑hard임을 증명하여 정확한 해에 대한 현실적인 기대치를 설정한다.
• Scalable algorithmic framework: 가중 라운드‑로빈, 최소 부하 등 현대적인 로드‑밸런싱 스킴 하에서 동작하고, 성능 보장이 가능한 근사 알고리즘군을 설계한다.
• System integration: 이 알고리즘을 프로덕션 수준의 분산 LLM 서빙 시스템에 구현하여, 기존 최첨단 배치 전략에 비해 엔드‑투‑엔드 지연 시간을 **30‑40 %**까지 감소시켰음을 보여준다.
• Empirical validation: 이 방법을 이기종 GPU 클러스터 전반에 걸친 여러 대형 언어 모델(13B‑~70B 파라미터)에서 평가했으며, 다양한 요청 패턴에서도 일관된 성능 향상을 확인했다.

Methodology

1. Modeling the serving pipeline – Inference for a large model is split into a chain of blocks (e.g., transformer layers). Each block must be assigned to a GPU server, and each server can cache a subset of the model’s weights to avoid costly re‑loads.
2. Formal problem statement – The authors define a mixed integer program that minimizes the expected request latency, subject to GPU memory caps and network bandwidth constraints.
3. Hardness proof – By reduction from the classic bin‑packing problem, they show that finding the optimal placement is NP‑hard.
4. Approximation algorithm – They adopt a two‑phase approach:
   • Load‑balanced block placement using a greedy heuristic that respects memory limits while keeping the pipeline balanced across servers.
   • Cache allocation solved via a knapsack‑style subroutine that prioritizes blocks with the highest reuse probability (estimated from recent request traces).
     The algorithm runs in linear time with respect to the number of blocks, making it suitable for dynamic re‑configuration.
5. Integration & evaluation – The solution is plugged into an existing LLM serving stack (based on Ray Serve / TensorRT‑LLM). Experiments compare against baseline heuristics (random placement, pure round‑robin, and a recent memory‑aware scheduler).

결과 및 발견

• 지연: 새로운 배치는 모든 테스트 모델에서 꼬리 지연을 최대 40 %까지 감소시킵니다.
• 메모리 효율성: 고재사용 블록을 지능적으로 캐시함으로써 알고리즘은 모델을 GPU 메모리에 더 많이 압축하여 비용이 많이 드는 호스트‑to‑GPU 전송 필요성을 낮춥니다.
• 확장성: 스케줄러의 런타임은 100‑블록 파이프라인에서도 100 ms 이하로 유지되어 트래픽 패턴 변화에 따라 실시간 재균형을 가능하게 합니다.

Practical Implications

• 더 빠른 AI 서비스: 개발자는 추가 GPU를 구매하지 않고도 더 반응성이 높은 챗봇, 코드 어시스턴트, 검색 보강 기능을 제공할 수 있습니다.
• 비용 절감: 높은 메모리 활용도는 주어진 SLA에 필요한 서버 수를 줄여 클라우드 비용을 직접 감소시킵니다.
• 동적 워크로드 처리: 가벼운 알고리즘을 통해 운영자는 급증(예: 플래시 크라우드 이벤트)에 대응해 파이프라인을 재분할할 수 있으며 서비스 중단이 없습니다.
• 프레임워크 통합: 이 접근 방식은 인기 서빙 스택(Ray, Triton, TensorRT‑LLM)과 호환되어 스케줄러 컴포넌트를 연결하기만 하면 채택이 가능합니다.
• 에지‑투‑클라우드 연속성: 일부 GPU 노드가 제한된 메모리 예산을 갖는 하이브리드 배포(예: 온프레미스 에지 서버)에서는 캐시 인식 배치를 통해 에지와 클라우드 리소스 간 워크로드를 균형 있게 조정할 수 있습니다.

제한 사항 및 향후 작업

• 가정된 정적 블록 세분화: 모델은 각 트랜스포머 레이어를 분할할 수 없는 블록으로 취급합니다; 보다 세밀한 샤딩은 추가적인 이득을 가져올 수 있지만 배치 문제를 복잡하게 만들 수 있습니다.
• 캐시 인기 추정: 현재 휴리스틱은 최근 요청 트레이스를 기반으로 합니다; 급격한 워크로드 변화가 발생하면 일시적으로 캐시 적중률이 감소할 수 있습니다.
• 네트워크 토폴로지 단순화: 분석은 균일한 GPU 간 대역폭을 가정합니다; NVLink와 PCIe와 같은 이종 인터커넥트는 완전히 모델링되지 않았습니다.
• 향후 방향에는 분기 추론 그래프(예: mixture‑of‑experts)를 지원하도록 프레임워크를 확장하고, 다중 테넌트 공정성 제약을 통합하며, 장기 트래픽 패턴에 적응하는 강화 학습 기반 스케줄러를 탐색하는 것이 포함됩니다.

저자

• Tingyang Sun
• Ting He
• I‑Hong Hou

논문 정보

• arXiv ID: 2604.14993v1
• 분류: cs.DC, cs.PF
• 발행일: 2026년 4월 16일
• PDF: PDF 다운로드