[Paper] 고차원 데이터 처리: 로컬 및 분산 환경에서 머신러닝 및 딥러닝 아키텍처 벤치마킹

Source: arXiv - 2512.10312v1

개요

이 논문은 고차원 데이터에 적용된 머신러닝(ML) 및 딥러닝(DL) 파이프라인을 직접 탐구한 내용을 연대기적으로 기록한다. 숫자 벤치마크(Epsilon 데이터셋)부터 실제 텍스트·멀티미디어 코퍼스까지 다양하게 다룬다. 로컬(단일 노드) 환경과 분산(Apache Spark) 환경을 나란히 비교함으로써, 분석 작업 부하를 확장할 때 개발자가 직면하는 트레이드오프를 드러낸다.

주요 기여

• 엔드‑투‑엔드 벤치마크 스위트: 고차원 Epsilon 데이터셋에 대해 고전적인 ML(선형 모델, 트리 기반 방법)과 최신 DL(피드포워드 네트워크)을 모두 포함.
• 비교 성능 분석: 로컬(CPU/GPU)과 Spark 기반 분산 실행을 훈련 및 추론 모두에 대해 비교.
• 응용 사례 연구:
  • 스페인어 리뷰를 담은 RestMex 코퍼스를 이용한 텍스트 분류.
  • IMDb 영화 데이터셋을 활용한 특징 추출 및 추천 모델링.
• 실용 가이드: Scala와 함께 Linux에 Spark 클러스터를 프로비저닝하는 방법을 제공하고, 데이터 수집, 모델 직렬화, 작업 스케줄링 스크립트를 포함.
• 오픈소스 아티팩트(데이터셋, 노트북, Spark 작업)를 재현성을 위해 관용 라이선스로 공개.

방법론

1. 데이터셋 준비

   • Epsilon: 400 K 샘플 × 2 000 특성, 표준 스케일링 적용.
   • RestMex: 수집된 레스토랑 리뷰를 토큰화하고 TF‑IDF 벡터로 변환.
   • IMDb: 줄거리 요약, 출연진 리스트, 평점을 추출; 워드 임베딩 및 원‑핫 인코딩으로 인코딩.

2. 모델 포트폴리오

   • ML: 로지스틱 회귀, SVM, 랜덤 포레스트, Gradient Boosting.
   • DL: ReLU 활성화가 적용된 다층 퍼셉트론(MLP), 텍스트용 얕은 CNN, 영화용 하이브리드 MLP‑임베딩 모델.

3. 실행 환경

   • 로컬: Python(scikit‑learn, TensorFlow) 기반 워크스테이션(32 GB RAM, 8‑코어 CPU, 선택적 NVIDIA GPU).
   • 분산: Spark 3.x 클러스터(워커 3대, 각 8 vCPU, 32 GB RAM)에서 Spark MLlib 및 TensorFlowOnSpark을 통한 Spark‑TensorFlow 통합 사용.

4. 평가 지표

   • 훈련 시간, 최대 메모리 사용량, 모델 정확도/F1‑score.
   • Spark 실행자 수와 데이터 파티션 수를 변동시켜 측정한 확장성.

5. 재현성

   • 모든 실험을 Bash/Scala 노트북으로 스크립트화; 로컬 스택을 위한 Docker 이미지 제공; 클러스터 설정을 위한 Ansible 플레이북 포함.

결과 및 인사이트

• 훈련 시간이 분산 환경에서 크게 감소했으며, 특히 400 K × 2 000 특성 행렬에서 Spark의 데이터 병렬성이 돋보였다.
• 모델 품질은 로컬 기준 대비 1–2 % 이내로 유지되어, Spark의 근사(예: 히스토그램 기반 분할)가 예측 성능을 크게 희생하지 않음을 확인했다.
• 메모리 사용량은 노드당 가용 RAM의 70 % 이하로 유지돼, 파이프라인이 자원을 고갈시키지 않고 확장될 수 있음을 보여준다.

실용적 함의

• 데이터 엔지니어에게: Spark‑중심 스크립트는 고차원 테이블 데이터를 위한 내결함 파이프라인 템플릿을 즉시 제공해, 수주에 달하던 보일러플레이트 코드를 크게 단축한다.
• ML 실무자에게: 벤치마크 결과는 정확도를 크게 잃지 않으면서도 적당한 규모의 Spark 클러스터에 무거운 훈련 작업을 안전하게 오프로드할 수 있음을 보여준다. 이를 통해 로컬 GPU는 실험이나 서빙에 전용할 수 있다.
• 제품 팀에게: 레스토랑 감성 및 영화 추천 사례는 텍스트와 메타데이터 파이프라인을 마이크로서비스에 통합하고, Spark‑operator를 이용해 Kubernetes에 배포하는 방법을 시연한다.
• 비용‑편익 인사이트: 저자들은 대규모 배치 작업에 대해 지속적으로 GPU 워크스테이션을 운영하는 대신 스팟 인스턴스 Spark 워커를 사용할 경우 전체 컴퓨팅 비용이 약 30 % 절감된다고 추정한다.

제한 사항 및 향후 연구

• 데이터셋 규모: 실험은 약 400 K 행까지 진행했으며, 수억 행 규모로 확장하면 셔플 오버헤드·드라이버 메모리 등 새로운 병목이 나타날 수 있다.
• 모델 다양성: 얕은 DL 아키텍처만 테스트했으므로, 향후 연구에서는 Spark에서 Transformer 기반 모델(BERT, GPT) 벤치마크를 추가할 수 있다.
• 지연 시간 초점: 본 연구는 배치 훈련 속도에 중점을 두었으며, Spark Structured Streaming을 이용한 실시간 추론 지연 시간은 다루지 않았다.
• 하드웨어 이종성: 모든 노드가 동일한 CPU 자원을 사용했으므로, CPU‑GPU 혼합 클러스터를 탐색하면 DL 워크로드를 더욱 가속화할 가능성이 있다.

핵심 요약: 이 논문은 ML/DL 워크로드를 단일 머신에 유지할지 Spark 클러스터로 이전할지를 결정해야 하는 개발자를 위한 실용적이고 재현 가능한 로드맵을 제공한다. 명확한 성능 향상과 최소한의 모델 품질 손실은 많은 기업 AI 파이프라인에서 분산 훈련을 강력히 고려하도록 만든다.

저자

• Julian Rodriguez
• Piotr Lopez
• Emiliano Lerma
• Rafael Medrano
• Jacobo Hernandez

논문 정보

• arXiv ID: 2512.10312v1
• 분류: cs.DC, cs.AI
• 발표일: 2025년 12월 11일
• PDF: Download PDF