Red Hat OpenShift AI 3.3 UI의 새로운 점: 파일럿에서 프로덕션으로 이동

Source: Red Hat Blog

OpenShift AI 3.3 – 거버넌스와 개발자 속도 균형

Red Hat OpenShift AI(Red Hat OpenShift AI)의 출시와 함께 우리는 견고한 엔터프라이즈 AI 인프라의 기반을 마련했습니다.

이제 **OpenShift AI 3.3 릴리스**가 흔히 마주치는 딜레마를 해결합니다:

• 엄격한 거버넌스 – 규정 준수, 보안 및 재현성을 보장합니다.
• 빠른 개발자 접근 – 데이터 과학자와 엔지니어가 실험하고 모델을 신속하게 배포할 수 있도록 합니다.

OpenShift AI 3.3의 새로운 기능

• 중앙 집중식 AI 자산 허브 – 모델, 데이터셋, 파이프라인, 프롬프트에 대한 단일 진실 소스.
• 멀티‑모델, 멀티‑에이전트 지원 – 다양한 모델 패밀리와 자율 에이전트를 오케스트레이션하기 위한 네이티브 툴링.
• 정책 기반 거버넌스 – 모델 출처, 라이선스, 런타임 보안에 대한 세밀한 제어.
• 셀프‑서비스 개발자 포털 – 빠른 온보딩, 실험 추적, 모델 배포를 위한 간소화된 UI/CLI.
• 향상된 가시성 – AI 스택 전반에 걸친 통합 메트릭, 로그, 트레이스.

이러한 도구들은 기업이 규모에 맞는 AI 거버넌스를 구현하면서 혁신적인 솔루션을 프로덕션에 가져오는 데 필요한 개발자 민첩성을 유지하도록 지원합니다.

중앙 집중형 자산: AI 허브

기업이 단일 모델 사용 사례를 넘어갈수록 발견 가능성이 병목 현상이 됩니다. 플랫폼 팀은 AI 자산에 대한 단일 진실 원본이 필요합니다—다음과 같이:

• 배포를 위해 구성되기 전에 모델을 등록하고 버전 관리.
• 조직 전체에 배포된 모델 보기.
• 최적의 배포 구성, 하드웨어 요구 사항, 지연 시간 및 처리량 기대치에 대한 가이드 받기.

AI 허브는 이러한 요구를 충족합니다. 이는 조직의 AI 자산을 위한 중앙 저장소 역할을 하며, OpenShift AI 3.3의 대형 언어 모델(LLM)부터 시작해 향후 릴리스에서는 Model Context Protocol (MCP) 서버 로 확장됩니다.

OpenShift AI 3.3에서 AI 허브가 제공하는 내용

• Red Hat의 AI 모델 검증 프로그램에서 도출된 성능 인사이트.
• 성능, 비용 및 하드웨어 요구 사항 간의 트레이드오프에 대한 가이드.
• 배포 시작 전에 플랫폼 팀이 개발자를 가장 효율적인 구성으로 유도하도록 돕는 권장 사항.

자산을 통합하고 실행 가능한 배포 조언을 제공함으로써 AI 허브는 발견 가능성 마찰을 제거하고 모델 등록에서 프로덕션까지의 경로를 가속화합니다.

규모에 맞는 거버넌스: Model‑as‑a‑Service (MaaS)

GPU를 직접 구성·관리하고 AI 모델을 배포한다면, AI 애플리케이션을 구축하는 것이 쉽지 않습니다. 대부분의 개발자, AI 엔지니어, 데이터 과학자는 이미 실행 중인 모델의 엔드포인트부터 시작하고 싶어 합니다. GPU 프로비저닝, 모델 서빙, 스케일링을 직접 처리하도록 하면 속도가 느려지고, 가치 실현 시간이 늘어나며, 비용 효율성도 떨어지고 거버넌스 관점에서도 확장성이 부족합니다.

플랫폼 팀이 이러한 모델을 모든 사람에게 제공하도록 하면—데이터 과학자와 비즈니스 팀이 필요한 모델을 손쉽게 사용할 수 있게—전통적인 애플리케이션 플랫폼에서 사용하던 패러다임을 확장할 수 있습니다. 이 모델에서는:

• 플랫폼 팀이 모델 서빙과 최적화를 담당합니다.
• 역할 기반 접근 정책, 사용 제한, 버전 관리를 통해 거버넌스가 가능한 중앙 집중형 AI 모델 카탈로그를 제공합니다.
• 최종 사용자는 간단한 API 엔드포인트만 받아 즉시 개발을 시작할 수 있습니다.

OpenShift AI 3.3은 조직이 자체 내부 AI 모델 제공자가 될 수 있도록 돕는 MaaS 기술 미리보기를 도입했습니다.

관리자에게 제공되는 혜택

• 세밀한 속도 제한 정책 – UI에서 제한을 정의합니다. 예를 들어, 자주 사용되는 소형 모델에는 높은 할당량을 부여하고, 리소스를 많이 소모하는 최신 모델에는 더 엄격한 상한을 적용할 수 있습니다.
• llm‑d를 활용한 최적 라우팅 – Kubernetes‑네이티브 분산 추론 프레임워크 llm‑d와 함께 동작합니다. 정책을 설정하면 llm‑d가 자동으로 요청을 라우팅해 하드웨어를 최적 활용하면서 서비스 수준 계약(SLA)을 위반하지 않도록 합니다.

플랫폼 팀이 대규모로 AI 모델을 제공하도록 준비가 되셨나요?

Source: …

Developer Velocity: Gen AI Studio

플랫폼 팀이 배포하는 모델이나 자산은 등록되고 중앙에서 노출되어야 AI 엔지니어와 개발자가 이를 활용해 바로 구축을 시작할 수 있습니다.

개발자는 이러한 모델 및 자산을 중앙에서 실험할 수 있는 장소가 필요합니다—플러그‑인‑플레이 환경에서 사용 사례에 가장 적합한 모델, 프롬프트, 도구를 빠르게 찾아볼 수 있으며, 기반 인프라 복잡성은 추상화됩니다.

우리의 기술‑프리뷰 릴리스인 Gen AI Studio는 이러한 플레이그라운드와 프롬프트에서 파일럿까지 이동하는 데 필요한 도구를 제공합니다.

Features

• AI Playground

  • 프롬프트, 모델 파라미터, MCP 도구를 실험합니다.
  • OpenShift AI 3.3에서는 다음을 할 수 있습니다:
    • 자체 MCP 서버를 가져오기.
    • 특정 도구를 켜거나 끄는 토글을 제공하여 신뢰할 수 있는 에이전트 행동에 필요한 결정성을 확보합니다.
  • View Code: OpenShift AI UI에서 로컬 환경으로 전환하고 “View Code” 기능을 사용해 플레이그라운드 구성을 확인하고 복사합니다.
  • Roadmap (예정):
    • 플레이그라운드에서 직접 코드 내보내기.
    • 통합 프롬프트 관리.
    • Retrieval‑augmented generation (RAG) 기능.
    • 정교화된 MCP‑tool 선택.

• AI Asset Endpoints

  • API 키와 엔드포인트를 즉시 가져옵니다.
  • 추가 설정 없이 로컬 IDE에서 자산을 바로 테스트할 수 있습니다.

Gen AI Studio는 발견·실험 단계부터 프로덕션‑레디 파일럿까지 개발자 워크플로우를 가속화하도록 설계되었으며, 경험을 단순하고 결정적으로 유지합니다.

Production Gap: 지속적인 평가와 최적화

모델을 프로덕션에 배포하는 가장 큰 장벽 중 하나는 모델을 만드는 것이 아니라 비용 관리와 품질 드리프트 방지입니다.

1. 모델 압축을 통한 비용 최적화

OpenShift AI 3.3은 Red Hat이 모델 검증 프로그램의 일환으로 모델을 벤치마킹하고 압축하기 위해 사용하는 두 개의 오픈‑소스 도구에 대한 가이드형 워크벤치를 도입했습니다:

결과: 모델을 벤치마킹하고, 압축(예: 양자화)하며, 성능 향상을 직접 환경 내에서 비교할 수 있습니다.

2. MLflow를 활용한 실험 추적

MLflow 통합에 대한 개발자 프리뷰를 공개합니다. 압축 및 벤치마킹이 즉각적인 성능 문제를 해결한다면, MLflow는 AI 라이프사이클을 위한 역사적 메모리를 제공합니다:

• guidellm 결과와 애플리케이션 응답을 기록합니다.
• 시간에 따른 회귀와 품질 추세를 추적합니다.
• 최적화가 정확도를 손상시키지 않도록 보장합니다.

3. 피드백 루프 시각화

MLflow 대시보드에서는 압축 실험과 추론 지연 시간 사이의 직접적인 상관관계를 보여주어, 성능 문제 해결을 데이터‑드리븐 프로세스로 전환합니다.

핵심 요약: 모델 압축, 벤치마킹, 그리고 MLflow 기반 실험 추적을 결합하면 비용을 낮게 유지하면서 프로덕션에서 모델 품질을 보호하는 지속적이고 관찰 가능한 루프를 구축할 수 있습니다.

Red Hat OpenShift AI 체험하기

OpenShift AI 3.3의 기능은 플랫폼에서 AI 기능에 대한 접근을 관리하는 방식을 혁신하도록 설계되었습니다. OpenShift AI 3.3을 설치하면 다음을 경험할 수 있습니다:

• AI Hub 체험
• Gen AI Studio 미리 보기
• 새로운 Optimization Workbenches 탐색

자세한 내용은 공식 보도 자료를 참조하세요.

또한 Red Hat 제품 체험 센터를 통해 OpenShift AI를 체험할 수 있습니다. 이 체험은 60일 동안 비용 없이 완전 관리형 환경에 접근할 수 있게 하며, 생산 등급 도구들을 테스트해 볼 수 있습니다.

• 여기에서 체험을 시작하세요: