[Paper] Hummingbird: SLO 지향 GPU 프리엠션 마이크로초 규모

Source: arXiv - 2601.04071v1

개요

이 논문은 Hummingbird라는 GPU‑스케줄링 프레임워크를 소개합니다. 이 프레임워크는 폐쇄형 GPU에서 실행 중인 커널을 몇 마이크로초 안에 선점할 수 있습니다. 이를 통해 고우선순위 워크로드가 서비스‑레벨 목표(Service‑Level Objectives, SLO)를 충족하도록 하면서도, 저우선순위 작업을 위해 유휴 GPU 사이클을 활용할 수 있어 지연 보장과 전체 활용률을 크게 향상시킵니다.

Key Contributions

• Microsecond‑scale preemption on commodity, closed‑source GPUs without hardware modifications. → 하드웨어 수정을 하지 않고 상용 폐쇄형 GPU에서 마이크로초 수준의 프리엠션
• SLO‑oriented scheduler that dynamically decides when to preempt based on each task’s latency target. → 각 작업의 지연 목표에 따라 언제 프리엠션할지를 동적으로 결정하는 SLO 지향 스케줄러
• Idle‑time harvesting mechanism that safely inserts low‑priority kernels into the gaps left by preempted high‑priority work. → 프리엠션된 고우선순위 작업이 남긴 공백에 저우선순위 커널을 안전하게 삽입하는 유휴 시간 활용 메커니즘
• Comprehensive evaluation across multiple GPU architectures showing up to 9.7× better SLO attainment for high‑priority tasks and 2.4× higher throughput for low‑priority tasks compared to prior spatial/temporal sharing schemes. → 다중 GPU 아키텍처에 걸친 포괄적인 평가에서, 기존의 공간/시간 공유 방식에 비해 고우선순위 작업의 SLO 달성도가 최대 9.7배 향상되고 저우선순위 작업의 처리량이 2.4배 증가함을 보여줌
• Minimal impact on exclusive execution: when a high‑priority job runs alongside low‑priority jobs under Hummingbird, its SLO degradation is < 1 % relative to running alone. → 독점 실행에 대한 최소한의 영향: Hummingbird 환경에서 고우선순위 작업이 저우선순위 작업과 함께 실행될 때, 단독 실행 대비 SLO 저하가 1 % 미만

방법론

1. Preemption Engine – 저자들은 GPU 명령 제출 파이프라인을 역공학하여 가벼운 “체크포인트”를 삽입한다. 이 체크포인트는 실행 중인 커널을 중단하고 GPU 상태를 약 10 µs 안에 복구할 수 있다.
2. SLO‑aware Scheduler – 들어오는 각 커널에 SLO 마감시간을 주석으로 달고, 스케줄러는 진행 상황을 지속적으로 모니터링하며 현재 커널이 마감시간을 놓칠지를 예측한다; 놓칠 경우 프리엠션을 트리거한다.
3. Idle‑Slice Collector – 고우선순위 커널이 프리엠션될 때, 스케줄러는 짧은 유휴 창(보통 수백 마이크로초) 을 찾아 저우선순위 커널을 그 안에 배치한다. 이를 위해 간단한 bin‑packing 휴리스틱을 사용한다.
4. Evaluation Suite – 실험은 NVIDIA RTX 3080, RTX 4090, 그리고 데이터센터급 A100에서 수행했으며, 딥러닝 추론, 비디오 트랜스코딩, 과학 시뮬레이션 커널을 혼합하여 사용했다. 베이스라인으로는 가장 잘 알려진 공간 공유(MPS)와 시간 공유(GPU‑time slicing) 시스템을 포함했다.

결과 및 발견

• Latency guarantees: High‑priority 작업은 여러 Low‑priority 워크로드와 동시에 실행될 때도 마감 시간을 꾸준히 맞춥니다.
• Utilization boost: 시스템이 기존에 낭비되던 GPU 유휴 시간의 > 80 %를 채워 전체 활용도를 ~55 % (기준)에서 > 90 %로 끌어올립니다.
• Scalability: 성능 향상은 다양한 GPU 세대에 걸쳐 유지되며, 특정 하드웨어 버전에 종속되지 않음을 보여줍니다.

Practical Implications

• Cloud GPU services는 특수 하드웨어 없이도 SLO를 보장하면서 계층형 가격(프리미엄 저지연 vs. 대량 저비용)을 제공할 수 있습니다.
• Edge AI devices(예: 자율 드론)는 배터리 친화적인 처리량을 희생하지 않으면서도 실시간 응답을 보장하기 위해 안전‑중요 추론 커널을 백그라운드 분석과 함께 실행할 수 있습니다.
• CI/CD pipelines for ML은 동일한 GPU 노드에서 모델 훈련(저우선순위)과 추론 서비스(고우선순위)를 스케줄링하여 인프라 비용을 절감할 수 있습니다.
• Framework integration: 선점 프리미티브는 CUDA 드라이버 확장이나 미들웨어 레이어를 통해 노출될 수 있어 기존 라이브러리(TensorRT, PyTorch)가 최소한의 코드 변경으로 이점을 얻을 수 있습니다.

제한 사항 및 향후 작업

• Closed‑source reliance: 이 기술은 문서화되지 않은 GPU 드라이버 동작에 의존하므로, 향후 드라이버 업데이트가 프리엠션 경로를 깨뜨릴 수 있습니다.
• Overhead for very short kernels: 커널 실행 시간이 < 50 µs인 경우, 프리엠션 비용이 지배적으로 작용해 긴 워크로드에만 적용 가능하게 됩니다.
• Scheduler heuristics: 현재의 빈‑패킹은 단순합니다; 보다 정교한 예측 모델을 도입하면 SLO 미스 비율을 추가로 낮출 수 있습니다.
• Multi‑GPU coordination: 본 논문은 단일 GPU에 초점을 맞추고 있으며, Hummingbird를 GPU 클러스터 전반에 걸쳐 프리엠션을 조정하도록 확장하는 것은 아직 해결되지 않은 과제입니다.

전반적으로 Hummingbird는 오늘날 GPU에서 마이크로초 수준의 세밀한 프리엠션이 가능함을 입증했으며, 클라우드와 엣지 환경 모두에서 지연에 민감하고 높은 활용도를 요구하는 새로운 종류의 워크로드를 열 수 있습니다.

저자

• Tiancheng Hu
• Chenxi Wang
• Ting Cao
• Jin Qin
• Lei Chen
• Xinyu Xiao
• Junhao Hu
• Hongliang Tian
• Shoumeng Yan
• Huimin Cui
• Quan Chen
• Tao Xie

논문 정보

• arXiv ID: 2601.04071v1
• 분류: cs.DC
• 발표일: 2026년 1월 7일
• PDF: PDF 다운로드