[Paper] Metronome: 서버리스 함수를 위한 차별화된 지연 스케줄링

Source: arXiv - 2512.05703v1

Overview

Serverless 플랫폼(FaaS)은 서버 프로비저닝의 번거로움 없이 “사용량 기반” 컴퓨팅을 약속하지만, 기본 스케줄러는 여전히 함수를 효율적으로 배치하는 데 어려움을 겪는다. 논문 Metronome: Differentiated Delay Scheduling for Serverless Functions은 Hadoop‑style 클러스터에서 사용되는 고전적인 delay‑scheduling 기법이 서버리스 워크로드에 바로 적용되지 않는 이유를 조사하고, 지연 시간을 함수별로 조정하여 레이턴시를 개선하고 SLA를 준수하도록 하는 머신러닝 기반 스케줄러를 제안한다.

Key Contributions

• Serverless에서의 delay scheduling에 대한 실증 연구 – 기존 기법을 체계적으로 평가한 결과, 서버리스 워크로드의 세 가지 비직관적인 특성(입력‑크기에 의존하는 locality 이점, 데이터 + 인프라스트럭처 이중 locality, 이질적인 실행 시간)을 발견했다.
• Differentiated delay 개념 – 일괄적인 지연 임계값 대신, Metronome은 함수별로 “더 좋은” 노드를 기다릴 시간을 결정한다.
• 온라인 Random Forest 회귀 모델 – 경량 런타임 특성을 이용해 각 후보 노드에서 함수의 실행 시간을 예측하고, 전체 레이턴시를 최소화하는 노드를 선택한다.
• SLA‑aware delay 제어 – 모델이 제공하는 안전 마진을 사용해 선택된 지연 시간이 함수의 마감 시간을 초과하지 않도록 보장한다.
• OpenLambda 프로토타입 – 실제 실험에서 기존 OpenLambda 및 기타 베이스라인 대비 평균 실행 시간 감소 **64.9 %–95.8 %**를 달성했으며, 높은 동시성 상황에서도 우수한 성능을 보였다.

Methodology

1. Workload Characterization – 저자들은 OpenLambda에서 CPU‑bound, I/O‑bound, 데이터‑집중형 등 다양한 벤치마크 함수를 실행하고, 함수가 “로컬” 노드를 기다릴 때 레이턴시 개선이 나타나는 지점을 기록했다.
2. Observation Extraction – 세 가지 패턴이 도출된다:
   • (a) locality 이득은 입력 크기에 따라 달라진다.
   • (b) “로컬”은 데이터가 동일 저장소 노드에 있거나 동일 물리 호스트에 있는 경우(인프라스트럭처 locality)를 의미한다.
   • (c) 실행 시간이 크게 변동하여 정적 지연 임계값이 효과적이지 않다.
3. Predictive Scheduler Design – Metronome은 온라인 Random Forest 모델을 유지하며 다음 정보를 입력한다:
   • 함수 메타데이터(입력 크기, 언어 런타임, 메모리 요청)
   • 노드 상태(CPU 부하, 네트워크 대역폭, 캐시된 데이터 존재 여부)
   • 해당 노드에서의 과거 실행 시간
     모델은 각 후보 노드에 대한 예상 실행 시간을 출력한다.
4. Delay Decision Logic – 새로 도착한 함수에 대해 Metronome은:
   • 현재 사용 가능한 노드에서의 예상 완료 시간을 계산한다.
   • 모델이 제시하는 “더 좋은” 노드가 더 빨리 끝나면서 SLA 내에 머무를 수 있는지 확인한다.
   • 가능하면 디스패치를 지연하고, 그렇지 않으면 즉시 스케줄한다.
5. Implementation & Evaluation – OpenLambda 디스패처에 통합된 시스템을 동시 호출 수 500개까지 다양한 수준에서 테스트했으며, 다음 베이스라인과 비교했다:
   • No‑delay (즉시 디스패치)
   • Fixed‑threshold delay scheduling (고전 방식)
   • Random placement baseline

Results & Findings

Key takeaways

• Predictive delay가 정적 임계값을 능가한다. 각 함수의 특성과 현재 클러스터 상태에 맞춰 대기 시간을 맞춤화하기 때문이다.
• 이중 locality가 중요하다 – 데이터 캐시와 물리 호스트 공동 배치가 데이터‑집중형 함수의 네트워크 레이턴시를 크게 감소시킨다.
• SLA 안전성 보장 – 모델의 신뢰 구간을 사용해 허용 가능한 최대 지연 시간을 제한함으로써 마감 시간 초과를 방지한다.

Practical Implications

• Serverless 제공자는 디스패처에 가벼운 예측기를 삽입해 하드웨어 추가 없이도 레이턴시 향상을 얻을 수 있다.
• 개발자는 데이터‑집중형 함수의 콜드 스타트 시간을 플랫폼의 “locality‑aware” 모드를 활성화하기만 하면 개선될 수 있으며, 코드 수정이 필요하지 않다.
• Edge‑oriented FaaS(예: Cloudflare Workers, AWS Lambda@Edge)는 차별화된 지연 아이디어를 적용해 인근 엣지 노드에서 실행할지 중앙 데이터센터로 백업할지를 결정함으로써 레이턴시와 자원 가용성 사이의 균형을 맞출 수 있다.
• 비용 최적화 – 실행 시간이 짧아지면 청구되는 컴퓨팅 초가 직접 감소하므로, 고빈도 마이크로서비스에 특히 유리하다.
• Observability tooling – 예측에 사용된 런타임 특성(입력 크기, 캐시 히트/미스 등)은 디버깅 및 용량 계획에도 유용한 신호가 된다.

Limitations & Future Work

• 모델 신선도 – Random Forest는 주기적으로 재학습되며, 급격한 워크로드 변동 시 일시적으로 예측 정확도가 떨어질 수 있다.
• 특성 집합이 플랫폼에 종속적이다; Metronome을 다른 FaaS 스택(AWS Lambda, Azure Functions 등)에 이식하려면 텔레메트리 수집을 재설계해야 한다.
• 예측기 확장성 – 추론 비용은 낮지만 수만 개 노드 규모에서 노드별 모델을 유지하려면 계층적 또는 연합 학습 접근이 필요할 수 있다.
• 보안 및 다중 테넌트 격리 – 스케줄러에 노드‑레벨 부하 정보를 노출하면 격리 문제가 발생할 수 있으므로, 교차 테넌트 정보 유출을 방지하는 설계가 요구된다.
• 저자들은 강화 학습 기반 스케줄러를 탐색하여 복합 목표(레이턴시 + 비용 + SLA)를 직접 최적화하고, 이기종 하드웨어(GPU/FPGA) 환경에서 locality 결정이 더욱 복잡해지는 경우를 연구할 것을 제안한다.

Authors

• Zhuangbin Chen
• Juzheng Zheng
• Zibin Zheng

Paper Information

• arXiv ID: 2512.05703v1
• Categories: cs.SE, cs.DC
• Published: December 5, 2025
• PDF: Download PDF