VMware Cloud Foundation 프라이빗 AI 서비스 배포: NSX 유무에 따른 슈퍼바이저 아키텍처 안내

비즈니스가 사설 데이터 센터 내에서 생성형 AI 애플리케이션을 안전하게 개발할 수 있도록, VCF Private AI Services는 VMware Cloud Foundation(VCF)에 직접 내장되었습니다. 이 내장형 서비스 스위트는 AI 인프라의 복잡성을 추상화하여, 모델 갤러리, 모델 런타임, 에이전트 빌더, Retrieval‑Augmented Generation(RAG)을 위한 데이터 인덱싱 기능, API 게이트웨이 및 MCP Tools Registry 등을 포함하는 엔드‑투‑엔드 플랫폼을 제공합니다.

이 플랫폼을 구동하는 아키텍처 기반은 vSphere Supervisor입니다. AI 워크로드용 Supervisor를 구성할 때, VCF 9는 두 가지 상이한 네트워킹 아키텍처를 선택할 수 있는 유연성을 제공합니다: VMware NSX 기반 모델과 vSphere Distributed Switch(VDS) 기반 모델입니다.

두 접근 방식 모두 VCF Private AI Services에 견고한 기반을 제공하므로, 조직은 자체 운영 준비 상태에 맞춰 인프라를 정렬할 수 있습니다. 빠른 개념 증명을 위한 간소화된 환경을 시작하든, 개발자를 위한 완전 자동화된 다중 테넌트 AI 클라우드를 구축하든, 네트워킹 선택이 환경의 사용 방식과 확장성을 좌우합니다. 이제 Supervisor가 VCF Private AI Services를 어떻게 지원하는지, 그리고 NSX 사용 여부에 따른 배포 시 고려해야 할 아키텍처를 살펴보겠습니다.

VCF Private AI Services에서 vSphere Supervisor의 역할

기술적인 관점에서 VCF Private AI Services는 vSphere Supervisor를 활용해 ESXi 하이퍼바이저를 네이티브 Kubernetes 제어 평면으로 변환합니다. Supervisor를 활성화하면 VCF Private AI Services를 원활히 설치·운용하는 데 필요한 핵심 API 및 리소스 관리 계층이 제공됩니다.

※ Supervisor 제어 평면 VM을 Small, Medium, Large 규모로 설계할 때는 용량을 신중히 계획하세요. 제어 평면은 증가만 가능하고 감소는 불가능합니다.

위 아키텍처 다이어그램에서 볼 수 있듯이, VCF Private AI Services는 선언형 Kubernetes 모델을 기반으로 두 가지 핵심 구성 요소를 활용합니다:

• VCF Private AI Services용 Kubernetes Operator (Supervisor 레벨)
  표준 Kubernetes 아키텍처에서 “Operator”는 복잡한 애플리케이션을 관리하는 특수 소프트웨어 컨트롤러를 의미합니다. VCF Private AI Services를 설치하면 해당 Operator를 Supervisor에 직접 배포하게 됩니다. 이 Operator는 백그라운드에서 지속적으로 실행되며, 환경을 모니터링하고 AI 인프라를 자동으로 오케스트레이션하는 지능 역할을 수행합니다.

• VCF Private AI Services용 Kubernetes Configuration (Namespace 레벨)
  IT 관리자는 Supervisor 위에 보안된 “vSphere Namespace”를 만들어 서로 다른 AI 프로젝트를 격리하고 엄격한 리소스 할당량을 적용합니다. 각 Namespace 안에서 사용자는 선언형 YAML 파일인 Config를 적용하는데, 이 파일은 플랫폼에 원하는 환경 구성을 정확히 알려줍니다. 서버를 직접 클릭해 구축하는 대신 Config 파일만 제공하면 나머지는 플랫폼이 자동으로 처리합니다.

VCF Private AI Services Operator가 새로운 Config를 감지하면, 해당 Namespace 내에 요청된 아키텍처를 자동으로 프로비저닝합니다. 여기에는 VCF Private AI Services API Pod, UI Backend Pod, 데이터 인덱싱 워커 등 기본 관리 Pod가 포함됩니다.

실제 AI 추론(다이어그램 왼쪽)에서는 Operator가 하부 vSphere Kubernetes Service(VKS) 클러스터 배포를 조정합니다. 모델 엔드포인트는 이러한 VKS 워커 VM 내부의 Pod로 실행되며, 아래 ESXi 호스트에 장착된 물리 GPU와 안전하게 연결됩니다.

※ 외부 Postgres DB를 둘러싼 점선 박스를 주목하세요: VCF Private AI Services는 RAG 워크로드용 벡터 데이터베이스에 연결하지만, 데이터베이스 자체는 사전에 외부에서 프로비저닝되어야 하며 Operator가 자동으로 생성하지는 않습니다.

Supervisor 네트워킹 모델: NSX vs. Foundation Load Balancer

VCF 9에서 Supervisor를 활성화할 때, 관리자는 제어 평면 및 AI 모델 엔드포인트에 대한 연결성을 제공할 네트워킹 스택을 선택해야 합니다.

주요 배포 모델은 두 가지입니다:

1. NSX 기반 Supervisor 네트워킹
   가장 기능이 풍부한 토폴로지로, 소프트웨어 정의 오버레이 네트워킹을 활용합니다. 플랫폼이 자동으로 세그먼트, Virtual Private Cloud(VPC), 분산 방화벽, NSX Edge 클러스터를 통한 로드 밸런싱을 생성합니다.

2. VDS 기반 Supervisor 네트워킹 (NSX 미사용)
   NSX 오버레이를 사용하지 않는 환경에서는 기존 vSphere Distributed Switch(VDS)를 Supervisor의 기반으로 활용합니다. Kubernetes API와 워크로드 트래픽을 위한 인그레스·이그레스 라우팅이 여전히 필요하므로, VCF 9는 VDS와 외부 로드 밸런서를 조합합니다. 관리자는 다음 두 옵션 중 하나를 선택할 수 있습니다:

   • Foundation Load Balancer (FLB)
     VCF 9에 도입된 FLB는 플랫폼에 기본 포함된 경량 Layer‑4 로드 밸런서입니다. 하나 또는 두 개의 VM(액티브/패시브 HA 구성)으로 배포할 수 있으며, 외부 어플라이언스를 별도로 설치하지 않아도 Supervisor를 손쉽게 구축할 수 있게 설계되었습니다. 다만 규모와 서비스 지원 면에서는 제한적입니다.

   • VMware Avi Load Balancer
     엔터프라이즈 급 확장성을 요구하는 경우 Avi가 프리미엄 옵션입니다. 별도의 관리 제어 평면(Controller Cluster)과 데이터 평면 VM(Service Engine)을 배포해야 하며, 더 무거운 AI 엔드포인트 트래픽 및 복잡한 기업 네트워킹 요구 사항을 고도로 확장 가능한 로드 밸런싱으로 처리합니다.

소비 계층: VCF Automation 및 다중 테넌시

NSX와 VDS 기반 네트워킹 중 어느 쪽을 선택하든, 사용자가 인프라를 어떻게 소비하느냐가 가장 중요한 아키텍처 고려 사항 중 하나입니다.

VCF에서 VCF Automation은 프라이빗 클라우드의 실제 소비 계층으로, 강력한 다중 테넌시, 거버넌스, 워크플로 자동화를 제공합니다. VCF Automation을 통해 IT는 특정 테넌트에 격리된 vSphere Namespace를 할당하고 CPU·메모리·GPU 할당량 등 엄격한 리소스 가드레일을 적용할 수 있습니다. 이러한 관리된 환경 안에서 데이터 과학자는 셀프‑서비스 카탈로그를 통해 Deep Learning VM 및 AI Kubernetes 클러스터를 필요에 따라 즉시 배포합니다. 또한 VCF Automation UI의 “Build & Deploy” 탭을 이용하면 사용자는 가이드형 마법사로 LLM 모델 엔드포인트를 손쉽게 배포할 수 있습니다.

하지만 VCF Automation은 NSX에 강하게 의존합니다. 원활한 다중 테넌시 셀프‑서비스 경험을 제공하려면 NSX Virtual Private Cloud(VPC)가 필수이기 때문입니다. NSX가 없으면 VPC를 생성할 수 없으며, 따라서 VCF Automation을 사용할 수 없습니다.

사용자에게 의미하는 바를 명확히 이해해야 합니다:

• VCF Automation 없이 (VDS 모델)
  전체 다중 테넌시 소비 계층이 부재합니다. Namespace에서 VCF Private AI Services를 활성화하고 실제 모델 엔드포인트(인프라 계층)를 배포하려면 관리자가 VCF Consumption CLI와 YAML 매니페스트(kubectl)를 사용해 수동으로 수행해야 합니다.

• VCF Private AI Services UI
  VCF Automation 유무와 관계없이, VCF Private AI Services는 자체 전용 UI를 제공하여 애플리케이션 계층을 관리합니다. 모델 엔드포인트가 실행 중이면 사용자는 여전히 직관적인 VCF Private AI UI를 통해 서비스를 이용하게 됩니다.