[Paper] 마감시간 인식 온라인 스케줄링: Spot Market 예측을 활용한 LLM 파인튜닝

Source: arXiv - 2512.20967v1

개요

대규모 기본 모델(LLM)의 파인‑튜닝은 많은 팀에게 예산을 크게 소모하게 만들고 있다. 이 논문은 저렴하고 변동성이 큰 GPU 스팟 인스턴스와 신뢰할 수 있는 온‑디맨드 VM을 사용자 지정 마감 시간을 준수하면서 결합하는 방법을 보여준다. 스팟‑마켓 가격과 가용성을 예측함으로써, 저자들은 기존 휴리스틱보다 ≈ 55 % 더 높은 효용성을 제공하면서도 비용을 크게 절감하는 온라인 스케줄러를 고안한다—시기적절함을 희생하지 않는다.

주요 기여

• Spot‑market predictability analysis: 단기 스팟 가격 및 가용성이 충분히 규칙성을 보여 유용한 정확도로 예측할 수 있음을 입증한 실증 연구.
• Mixed‑instance integer programming model: 비용, 마감 시간, 스팟 자원의 확률적 특성 사이의 트레이드오프를 형식화한 모델.
• Prediction‑driven online algorithm (Commitment‑Level Control): “커밋 수준”을 사용해 부분 실행 계획을 고정하고, 새로운 가격/가용성 정보가 들어올 때마다 적응하는 알고리즘.
• Robust fallback algorithm: 예측이 부정확할 때도 합리적인 성능을 보장하는 예측 없이 동작하는 온라인 스케줄러.
• Meta‑policy selector: 파라미터화된 정책 풀에서 최적의 알고리즘을 자동으로 선택하는 온라인 학습 구성요소로, (\mathcal{O}(\sqrt{T})) 수준의 regret bound를 달성.
• Extensive evaluation: 주요 클라우드 제공업체의 실제 스팟 가격 트레이스와 현실적인 LLM 파인튜닝 워크로드를 사용한 평가에서, 강력한 베이스라인 대비 **54.8 %**까지 유틸리티 향상을 보여줌.

Methodology

1. Data collection & forecasting – 저자들은 스팟 가격 및 인스턴스 가용성 로그(AWS, GCP 등)를 수집하고, 경량 시계열 모델(ARIMA, 지수 평활법)을 학습시켜 다음 (k) 시간을 예측합니다.
2. Mathematical formulation – 정수 프로그램이 다음을 포착합니다:
   • 파인‑튜닝 작업에 필요한 GPU 시간 수,
   • 마감 시간 제약,
   • 비용 = 스팟 가격 × 스팟 시간 + 온‑디맨드 가격 × 온‑디맨드 시간,
   • 가용성 제약(스팟 인스턴스는 회수될 수 있음).
3. Online allocation with commitment level – 각 의사결정 시점에서 스케줄러는:
   • 현재 예측값을 사용하고,
   • 정수 프로그램의 완화된 버전을 풀어 부분 스케줄을 얻으며,
   • 첫 번째 구간(“commitment level”)에만 커밋하고 이후 결정은 유연하게 남겨둡니다.
4. Prediction‑free fallback – 예측 오차가 임계값을 초과하면 시스템은 스팟 용량이 부족할 경우 온‑디맨드 자원만 사용하는 마감‑인식 그리디 휴리스틱으로 전환합니다.
5. Policy selection via bandit learning – 다중 팔 밴딧 프레임워크가 다양한 정책(다른 commitment level, 예측 horizon, fallback 임계값)의 포트폴리오를 평가하고 작업 진행에 따라 최적의 정책으로 수렴합니다.

모든 단계는 단일 CPU에서 몇 초 안에 실행되므로 실시간 클라우드 오케스트레이션에 실용적입니다.

Results & Findings

핵심 요점:

• 스팟 예측 정확도가 다소 정확해도 (MAE ≈ 5 %) 스케줄러가 저렴한 자원을 조기에 확보할 수 있어 비용을 > 30 % 절감합니다.
• 커밋 수준 메커니즘은 이후 사라지는 스팟 인스턴스에 대한 “과다 커밋”을 방지하여 마감 시간 위반을 거의 0에 가깝게 유지합니다.
• 메타‑정책 선택자는 시장 상황(예: 가격 급등, 높은 선점)에 자동으로 적응하며 수동 튜닝이 필요 없습니다.

Practical Implications

• Cost‑effective fine‑tuning pipelines: 팀은 스케줄러를 기존 ML 오케스트레이션 도구(Kubeflow, Airflow)에 통합하여 스팟 GPU와 온‑디맨드 GPU를 언제 띄울지 자동으로 결정할 수 있다.
• Budget‑constrained research labs: 마감 시간을 보장함으로써 연구실은 예측 가능한 예산으로 대규모 실험을 수행할 수 있어 추가 연구를 위한 자금을 확보할 수 있다.
• Cloud‑provider tooling: 이 방법론은 SaaS 형태나 클라우드 마켓플레이스용 플러그인으로 패키징될 수 있어 고객에게 즉시 사용 가능한 “마감 인식 스팟 최적화기”를 제공한다.
• Generalizable to other workloads: GPU 집약적이며 마감에 민감한 작업(예: 비디오 렌더링, 과학 시뮬레이션)이라면 모두 동일한 혼합 인스턴스, 예측 기반 접근 방식의 혜택을 받을 수 있다.

제한 사항 및 향후 연구

• 예측 범위가 몇 시간으로 제한됨: 장기 예측은 노이즈가 많아지며, 며칠에 걸친 범위로 확장하려면 더 풍부한 모델(e.g., LSTM, transformer 기반 시계열)이 필요할 수 있다.
• 스팟 마켓 이질성: 이 연구는 몇몇 주요 클라우드 제공업체에 초점을 맞추고 있으며, 새로운 시장(e.g., 프리엠티블 TPU, 엣지 노드 스팟 풀)에서는 별도의 검증이 필요하다.
• 정적 작업 크기 가정: 학습 중에 필요한 GPU 시간이 변하는 동적 워크로드는 명시적으로 다루어지지 않는다.
• 잠재적인 규제/컴플라이언스 제약: 일부 기업은 보안 또는 데이터 프라이버시 이유로 스팟 사용을 제한하며, 정책 인식 제약을 통합하는 것이 향후 과제이다.

향후 연구에서는 딥러닝 기반 가격 예측 모델을 탐색하고, 멀티클라우드 차익거래를 도입하며, 탄력적인 작업 그래프(예: 서로 다른 자원 요구를 가진 파이프라인 단계)를 처리하도록 정수 프로그램을 확장할 수 있다.

저자

• Linggao Kong
• Yuedong Xu
• Lei Jiao
• Chuan Xu

논문 정보

• arXiv ID: 2512.20967v1
• 카테고리: cs.DC, cs.LG
• 출판일: 2025년 12월 24일
• PDF: PDF 다운로드