AWS SageMaker는 실제로 무엇인가요??

Source: Dev.to

위에 제공된 텍스트만으로는 번역할 내용이 없습니다. 번역을 원하는 본문을 함께 제공해 주시면 한국어로 번역해 드리겠습니다.

SageMaker가 왜 존재할까?

실제 이야기를 들려드리겠습니다.

2015‑2017년경, 기업들은 연구 논문 수준이 아니라 실제 제품 수준에서 머신러닝을 프로덕션에 적용하려고 시도하기 시작했습니다.
그들은 벽에 부딪혔습니다.

• 데이터 과학자들은 노트북에서 모델을 구축했습니다. 아주 잘 작동했죠!
• 그런 다음 프로덕션에 적용하려고 하면… 혼란이 발생했습니다.
  • 인프라 팀은 “training job”(훈련 작업)이 무엇인지 모릅니다.
  • 모델은 특정 GPU 인스턴스가 필요합니다.
  • 훈련된 모델을 어디에 저장해야 할까요?
  • 어떻게 버전을 관리할까요?
  • 대규모로 예측 서비스를 어떻게 제공할까요?

모든 기업이 같은 인프라를 처음부터 다시 구축하고 있었습니다.

AWS는 이 고통을 보고 2017년에 SageMaker를 출시했습니다. 그들의 제안은 간단했습니다: 우리가 모든 인프라 작업을 처리해 주니, 여러분은 실제 ML 부분에 집중하면 됩니다.

---

실제로 SageMaker는 무엇인가요?

전체 머신러닝 워크플로우를 위한 관리형 플랫폼이라고 생각하면 됩니다—단일 도구가 아니라 함께 작동하는 도구들의 모음입니다.

• 실험을 위한 관리형 Jupyter 노트북.
• 필요할 때 자동으로 시작되는 확장 가능한 학습 인프라.
• 예측을 제공하는 모델 호스팅.
• 모니터링, 버전 관리, 파이프라인 등 전체 기능.

마치 직접 Kubernetes 클러스터를 관리하는 대신 EKS를 사용하는 것과 같은 느낌이며, ML 워크플로우에 적용된 것입니다.

언제 실제로 사용하나요?

인프라가 문제가 되는 규모로 머신러닝을 할 때 SageMaker를 사용합니다.

데이터 과학자가 한 달에 한 번 노트북에서 모델을 훈련한다면 아직 필요하지 않을 것입니다.

하지만 다음과 같은 경우에는:

• 메모리에 들어가지 않는 데이터셋으로 모델을 훈련할 때.
• GPU가 필요하지만 직접 GPU 인스턴스를 관리하고 싶지 않을 때.
• 새로운 데이터가 들어오면 모델을 자동으로 재훈련하고 싶을 때.
• 수천 명의 사용자에게 예측 서비스를 제공해야 할 때.
• 여러 사람이 머신러닝 작업을 하고 자원을 공유할 때.

…그때 SageMaker가 의미 있게 됩니다.

많은 팀이 데이터 과학자가 이미 익숙하거나, AWS를 이미 깊게 사용하고 있어 모든 것을 한 곳에 모으고 싶기 때문에 SageMaker를 시작합니다.

---

실제로 다루게 될 주요 구성 요소

실제 예시

팀에서 고객 이탈을 예측하는 모델을 훈련했다고 가정해 보겠습니다.

훈련

from sagemaker.sklearn import SKLearn

estimator = SKLearn(
    entry_point='train.py',
    role=role,
    instance_type='ml.m5.xlarge',
    framework_version='1.0-1'
)

estimator.fit({'training': 's3://bucket/data'})

작업을 S3에 있는 데이터에 연결하고, 인스턴스 유형/개수를 지정하면 SageMaker가 나머지를 처리합니다. 훈련된 모델 아티팩트는 다시 S3에 저장됩니다.

배포

predictor = estimator.deploy(
    initial_instance_count=1,
    instance_type='ml.t2.medium'
)

이제 API가 이 엔드포인트를 호출해 예측을 받을 수 있습니다. SageMaker가 스케일링, 상태 검사 및 모든 인프라 작업을 담당합니다.

---

혼란스러울 수 있는 부분

• Docker 관례 – SageMaker는 학습 코드가 자체 구조를 따르길 기대하는데, 이는 “표준” 컨테이너화된 앱과 다릅니다.
• 가격 – 노트북 인스턴스는 실행 시간 동안, 학습은 초 단위로, 엔드포인트는 시간당 요금이 부과됩니다. Lambda와 같은 요청당 요금 모델이 아닙니다.
• IAM 역할 – SageMaker는 S3에 접근하고, 로그를 기록하며, ECR을 사용하는 등의 권한이 필요합니다. 처음 설정할 때 다소 까다로울 수 있습니다.
• 모든 것이 SageMaker가 필요한 것은 아님 – OpenAI API를 호출하거나 사전 학습된 모델을 사용하는 경우, 이 모든 것이 필요하지 않습니다. SageMaker는 자체 모델을 학습하고 배포할 때 빛을 발합니다.

다른 기능들은 어떨까요?

SageMaker가 많이 성장했습니다:

• Studio – 전체 ML 라이프사이클을 위한 IDE.
• Feature Store – ML 피처를 위한 중앙 집중식 저장소.
• Model Monitor – 배포된 모델의 드리프트 감지.
• Clarify – 편향 감지 및 설명 가능성.
• …그리고 더 많은 기능들.

모든 기능을 알 필요는 없습니다. 대부분의 팀은 notebooks → training jobs → endpoints—핵심 루프—부터 시작합니다. 특정 문제에 직면했을 때만 추가 기능을 도입하세요 (예: 모델 드리프트 → Model Monitor, 공유 피처 엔지니어링 → Feature Store).

SageMaker를 원하지 않을 경우

• 팀이 이미 GCP에 깊이 관여하고 있다 – Vertex AI는 비슷한 관리형 서비스를 제공한다.
• 전체 제어를 원하고 인프라 관리에 익숙하다 – EKS + Kubeflow에서 모든 것을 실행할 수 있다.
• ML 워크로드가 매우 단순하다 – 사전 학습된 모델을 사용해 예측을 제공하는 Flask 앱이면 충분할 수 있다.

SageMaker는 ML 워크로드를 확장하고 AWS가 인프라 복잡성을 처리하도록 할 때 빛을 발한다. 아직 그런 상황이 아니라면 과도할 수 있다.

The real value proposition

SageMaker는 모델 구축 및 개선에 집중할 수 있도록 하면서 AWS가 무거운 작업을 담당합니다: 컴퓨팅 프로비저닝, GPU 관리, 스토리지 관리, 엔드포인트 확장, 그리고 내장된 모니터링 및 거버넌스 도구 제공. 인프라가 ML 프로젝트를 지배하기 시작하면, SageMaker는 더 나은 모델을 더 빠르게 배포할 수 있게 해주는 지름길이 됩니다.

머신러닝 인프라스트럭처는 어렵다

머신러닝 인프라스트럭처는 정말 어렵습니다. GPU 인스턴스 관리, 분산 학습 오케스트레이션, 대규모 모델 서빙, 드리프트 모니터링, 그리고 모든 것을 올바르게 버전 관리하는 일은 금세 압도적으로 느껴질 수 있습니다.

직접 모두 구축할 수도 있습니다—많은 기업이 그렇게 해왔습니다.
하지만 이는 차별화되지 않은 막대한 작업량을 의미합니다.

관리형 서비스를 사용하는 이유

Amazon SageMaker는 저수준의 복잡한 작업을 건너뛰고 실제 해결하려는 ML 문제에 집중할 수 있게 해줍니다.

• DevOps 담당자에게: ML 워크플로에 적용된 “관리형 서비스” 접근 방식이라고 생각하면 됩니다.
• 트레이드‑오프:
  • 제어·유연성 감소 – 세밀한 튜닝을 포기해야 합니다.
  • 시작 속도 크게 향상 – 플랫폼이 운영을 담당하므로 빠르게 반복할 수 있습니다.

시작하기

1. 노트북 시작 – SageMaker 노트북 인스턴스를 실행합니다.
2. 튜토리얼 진행 – 내장 예제를 따라가며 학습 작업이 어떻게 동작하는지 확인합니다.
3. 실제 문제에 적용 – 구체적인 과제를 해결하면서 개념이 더 빨리 이해됩니다.

이미 올바른 질문을 하고 있습니다. 그것이 가장 중요한 부분입니다.