[Paper] 확장 가능한 데이터 파이프라인을 위한 Serverless MapReduce Framework 설계 및 구현

Source: arXiv - 2605.29573v1

Overview

The paper presents a serverless MapReduce framework built on Kubernetes, Knative, and Apache Kafka that enables real‑time, event‑driven data pipelines for logistics‑heavy workloads (e.g., GPS streams, IoT sensor feeds). By marrying the classic MapReduce programming model with Function‑as‑a‑Service (FaaS) concepts, the authors demonstrate how to achieve elastic, “scale‑to‑zero” processing without sacrificing the familiar map‑shuffle‑reduce semantics.

주요 기여

• Serverless‑first 디자인: Map, Shuffle, Reduce 단계들을 독립적이고 무상태 함수로 구현하여 필요 시 즉시 실행할 수 있습니다.
• Kubernetes‑네이티브 오케스트레이션: Knative를 활용해 함수를 HTTP 트리거 서비스로 노출하고, 자동으로 스케일링, 라우팅 및 수명 주기 관리를 수행합니다.
• 이벤트‑드리븐 데이터 흐름: Apache Kafka를 내구성 높고 고처리량의 백본으로 사용하여 서비스 간 물류 이벤트를 수집하고 라우팅합니다.
• 메타데이터 및 상태 처리: 워크플로 메타데이터를 Redis에 저장해 빠른 조회를 가능하게 하고, 최종 출력은 AWS S3에 영구 저장하여 핵심 함수는 완전히 무상태를 유지합니다.
• 실증적 확장성 증명: 입력량이 증가함에 따라 선형적인 성능 향상을 보여주며, 유휴 컴포넌트가 자원을 전혀 사용하지 않는 “scale‑to‑zero” 동작을 검증합니다.

Source: …

방법론

1. 아키텍처 청사진

   • 다섯 개의 느슨하게 결합된 마이크로‑서비스(인제스트, 매퍼, 셔플러, 리듀서, 라이터)가 컨테이너화되어 쿠버네티스 클러스터에 배포됩니다.
   • Knative는 FaaS 레이어로 작동하여 들어오는 Kafka 이벤트에 따라 각 서비스에 대한 파드를 자동으로 프로비저닝합니다.

2. 데이터 흐름

   • 인제스트는 Kafka 토픽에서 원시 물류 스트림을 읽고 맵‑태스크를 발생시킵니다.
   • 매퍼는 각 이벤트를 키‑값 쌍으로 변환합니다(예: vehicle_id → location).
   • 셔플러는 중간 쌍을 키별로 그룹화하고, 어떤 리듀서를 실행해야 하는지 추적하기 위해 Redis를 사용합니다.
   • 리듀서는 그룹화된 데이터를 집계합니다(예: 차량별 경로 통계 계산) 및 결과를 S3에 기록합니다.

3. 스케일링 메커니즘

   • Knative의 자동 스케일러는 요청 지연 시간과 동시성을 모니터링하여 파드를 상향/하향 스케일링합니다.
   • 트래픽이 0으로 떨어지면 Knative가 파드를 종료하여 “scale‑to‑zero”를 달성합니다.

4. 평가 설정

   • 10 K에서 10 M 이벤트까지의 합성 물류 워크로드를 생성했습니다.
   • 측정된 메트릭: 엔드‑투‑엔드 지연 시간, CPU/메모리 사용량, 활성 파드 수.

결과 및 발견

These results confirm that the framework can scale elastically with workload intensity while keeping operational costs low during idle periods.

Practical Implications

• Cost‑effective real‑time analytics: 기업은 필요할 때마다 무거운 MapReduce‑style 작업을 실행하고 실제 사용한 컴퓨팅 시간만 비용으로 지불할 수 있습니다—예를 들어 휴일 배송 급증과 같은 간헐적인 피크 기간을 가진 물류 업체에 이상적입니다.
• Simplified ops: Kubernetes + Knative를 사용하면 배치(Spark)와 스트림(Flink) 처리를 위한 별도 클러스터를 관리할 필요가 없습니다; 하나의 코드베이스로 두 작업을 모두 처리할 수 있습니다.
• Rapid prototyping: 개발자는 원하는 언어로 일반적인 Map 및 Reduce 함수를 작성하고 컨테이너로 배포하면 Knative가 자동으로 스케일링을 담당합니다—맞춤형 KPI 대시보드나 이상 탐지기를 빠르게 구축하는 데 유용합니다.
• Vendor‑agnostic portability: 스택(Kafka, Redis, S3)은 클라우드에 종속되지 않으며, 동일한 배포 구성을 온프레미스, 퍼블릭 클라우드 또는 하이브리드 환경에서 모두 사용할 수 있습니다.

제한 사항 및 향후 작업

• Cold‑start latency: scale‑to‑zero가 리소스를 절약하지만, 정지 후 첫 호출에서는 약 500 ms–1 s 정도의 지연이 추가될 수 있으며, 이는 초저지연 사용 사례에서 눈에 띌 수 있습니다.
• Stateful reductions: 현재 설계는 stateless reducers를 전제로 합니다; 장시간 실행되는 stateful aggregations(예: sliding windows)을 지원하도록 모델을 확장하려면 추가적인 조정 메커니즘이 필요합니다.
• Benchmark diversity: 실험은 synthetic logistics data에 초점을 맞췄으며, 이질적인 페이로드(비디오, 이미지)를 가진 real‑world 배포에서는 새로운 병목 현상이 드러날 수 있습니다.
• Security & multi‑tenant isolation: 이 논문은 공유 Kafka topics 또는 S3 buckets에 대한 세밀한 접근 제어를 다루지 않으며, 향후 작업에서는 service mesh policies나 per‑function IAM roles를 통합할 수 있습니다.

전반적으로, 이 연구는 MapReduce의 단순함과 serverless architectures의 유연성을 결합하고자 하는 개발자들에게 설득력 있는 청사진을 제공하며, 물류 분야 및 그 외에서도 확장 가능하고 cost‑aware 데이터 파이프라인을 구현할 수 있는 길을 열어줍니다.

저자

• Angelos Dorotheos Chatzopoulos
• Babis Andreou
• Kakia Panagidi
• Stathes Hadjiefthymiades

논문 정보

• arXiv ID: 2605.29573v1
• 분류: cs.DC
• 출판일: 2026년 5월 28일
• PDF: Download PDF