[논문] Nf-PEAK: 쿠버네티스 클러스터에서 Nextflow 워크플로의 프로세스 기반 에너지 할당

개요

과학 워크플로우는 상호 의존적인 작업들의 파이프라인입니다. 이러한 워크플로우는 Nextflow와 같은 워크플로우 엔진을 통해 공유 Kubernetes 클러스터에서 점점 더 많이 실행되고 있습니다. 에너지 소비는 비용과 지속 가능성 모두에 중요한 요소입니다. 워크플로우 작업은 매우 이질적일 수 있기 때문에 개별 작업을 별도로 검토하고 최적화하는 것이 필요합니다. 그러나 클러스터에서 작업 수준의 에너지를 추정하는 것은 어렵습니다. Intel RAPL 카운터는 노드 수준의 에너지만 보고하고, 카운터와 호스트 프로세스 정보에 대한 접근은 일반적으로 제한되며, 동시에 실행되는 워크로드는 자원 경쟁과 측정 노이즈를 초래합니다. 우리는 CPU 패키지와 DRAM 에너지를 개별 프로세스와 Nextflow 작업에 할당하는 컨테이너화된 방법인 Nf-PEAK을 제시합니다. Nf-PEAK은 (i) 워크플로우 pod를 식별하고, (ii) cgroup 메타데이터를 통해 pod를 호스트 프로세스에 매핑하며, (iii) RAPL 및 프로세스별 성능 카운터를 샘플링하고, (iv) 비선형 에너지‑크레딧 모델을 적용한 뒤 작업 수준에서 결과를 집계합니다. Kubernetes 클러스터에서 우리는 제어된 공동 CPU 부하 하에 세 개의 nf-core 워크플로우를 평가했습니다. Nf-PEAK은 고립된 실행에서는 평균 평균 절대 백분율 오차(MAPE) 6.6%를, 노드당 32개의 하드웨어 스레드 중 8개를 다른 워크로드가 포화시켰을 때는 10.9%를 달성했으며, 2, 3, 4, 8 노드에 걸쳐 안정적인 성능을 유지했습니다. 최신 Kubernetes 도구인 Kepler와 비교했을 때, Nf-PEAK은 특히 공동 부하 상황에서 평균적으로 더 낮은 오류를 보였습니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.DC

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.DC 분야의 발전에 기여합니다.

저자

• Philipp Thamm
• Somayeh Mohammadi
• Kathleen West
• Knut Reinert
• Lauritz Thamsen
• Ulf Leser

논문 정보

• arXiv ID: 2605.22393v1
• 분류: cs.DC
• 발표일: 2026년 5월 21일
• PDF: Download PDF