통합 인텔리전스: Azure Databricks와 Azure Machine Learning 통합 마스터하기

Source: DZone DevOps

Introduction

현대 기업에서는 데이터 엔지니어링과 데이터 사이언스 사이의 격차가 혁신의 주요 병목 현상이 되는 경우가 많습니다. 데이터 엔지니어는 분산 클러스터, Spark, ETL 파이프라인의 세계에 머무르고, 데이터 과학자는 실험 환경, 모델 추적, 하이퍼파라미터 튜닝에서 활약합니다.

Azure는 이러한 요구를 충족시키기 위해 두 개의 강력한 플랫폼, Azure Databricks와 Azure Machine Learning (Azure ML)을 제공합니다. 두 플랫폼은 일부 겹치는 기능을 가지고 있지만, 하나의 통합된 생태계로 결합될 때 진정한 잠재력이 발휘됩니다. 이 문서에서는 이러한 기술들을 결합하여 프로덕션 수준의 빅데이터 ML 파이프라인을 구축하는 이유와 방법을 깊이 있게 살펴봅니다.