에이전트형 AI가 운영 플랫폼을 기업에서 가장 중요한 계층으로 만드는 이유

출처: The New Stack

기업 AI에 가장 큰 장애물은 모델, 데이터 과학 인재, 혹은 인프라가 아니라 운영이다.

오늘날 기업 전반에 걸쳐 하이브리드 복잡성은 IT가 이를 관리할 수 있는 능력을 앞서고 있다. 애플리케이션, 워크로드, 런타임, 인프라가 이제 온‑프레미스 환경, 퍼블릭 클라우드, 엣지 위치, 그리고 에어‑갭 사이트까지 확장된다. 각 레이어마다 고유한 도구, 공급업체, 운영 언어가 존재한다. 그 결과 모든 곳에서 마찰이 발생하고 AI 야망과 운영 현실 사이의 격차가 점점 벌어지고 있다.

Latha Vishnubhotla, Hewlett Packard Enterprise의 최고 플랫폼 책임자는 The New Stack에 “문제는 Day 2부터 시작된다”고 말했다.

“사람들은 무언가를 빠르게 올리고 기능하게 만들 수 있다. 하지만 대부분의 시간을 보내는 곳은 인프라가 가동된 이후이다. Day 2부터 Day N까지가 실제로 많은 시간을 소비하는 구간이다.”

이것이 현재 기업들이 직면하고 있는 문제다. 인프라를 구축하고 가동시키는 것이 아니라, AI 워크로드가 파일럿 단계에서 프로덕션 단계로 이동함에 따라 운영을 유지하고, 최적화하며, 신뢰성을 확보하는 것이 핵심이다.

계속 읽으며 Day 2 문제뿐만 아니라 HPE의 GreenLake 하이브리드 클라우드 관리 플랫폼이 어떻게 기업 복잡성에 대응해 왔는지—특히 에이전시 AI가 융합된 방식을 살펴보자.

Day 2는 하이브리드 클라우드가 무너지는 시점

하이브리드 환경에서는 운영 팀이 단일 스택을 관리하지 않는다. 베어 메탈, VM, 컨테이너, AI‑네이티브 플랫폼 등 여러 런타임을 동시에 다루어야 한다. 컴퓨트, 스토리지, 네트워킹 인프라는 종종 서로 다른 공급업체에서 제공된다. 워크로드는 데이터 센터, 퍼블릭 클라우드, 엣지, 그리고 연결이 차단된 사이트에 걸쳐 분산된다. 서로 협업하도록 설계되지 않은 레거시 시스템도 존재한다.

각 레이어마다 자체 관리 도구와 텔레메트리가 있다. 문제가 발생했을 때 증상은 근본 원인과 거의 다른 위치에 나타난다.

“이 모든 서로 다른 계층이 서로 얘기하고 있지만, 선형적이지 않다. 어디에 문제가 있는지 직접 파고들어 찾아야 한다.”
— Vishnubhotla

Day Zero 프로비저닝은 빠를 수 있다. 그러나 복잡성이 쌓이고 팀이 최적화보다는 대응에 시간을 소비하는 것이 바로 Day 2 운영이다.

더 많은 AI가 운영 문제를 악화시킨다

AI는 위험을 높일 뿐만 아니라 해결책도 제공한다.

기업은 더 많은 AI 워크로드를 실행하고 싶지만 데이터 센터는 용량이 한정돼 있다. 전력, 냉각, 비용, 지속 가능성 제약은 현실이다. 그래서 FinOps와 GreenOps가 인프라 운영과 떼려야 뗄 수 없는 관계가 되었다.

“이 워크로드를 실행하려면 ‘무엇이 사용되지 않고 있나요?’ 라는 질문을 해야 한다.”
— Vishnubhotla
“왜 여기서 낭비하고 있지? 무언가를 옮겨야 할까? 폐기해야 할까?”

전통적인 인간 중심 운영 모델은 여기서 한계에 부딪힌다. 데이터가 방대하고, 레이어와 의존성이 너무 많아 수작업으로는 감당할 수 없다—특히 엔터프라이즈 규모에서는 말이다.

운영 플랫폼은 연결 조직(Connective Tissue)이다

기업이 필요로 하는 것은 또 다른 단일 도구가 아니라, 하이브리드 환경 전체를 아우르는 운영 플랫폼이다.

그것이 바로 GreenLake가 설계된 역할이다.

GreenLake는 온‑프레미스, 프라이빗 클라우드, 엣지, 그리고 콜로케이션 인프라 전반에 걸친 하이브리드 환경을 통합된 플랫폼 경험으로 제공한다. 선택권과 제어권을 유지하면서 인프라를 추상화 뒤에 숨기지 않고, 단일 제어 평면에서 가시화·관측·운용이 가능하도록 만든다.

“제어 평면은 실제로 클라우드에서 실행된다.”
— Vishnubhotla
“전체 환경을 한눈에 볼 수 있다.”

수천 개의 사이트와 수만 대의 디바이스를 관리하는 조직에게 이 가시성은 기본이다. 하지만 가시성만으로는 이제 충분하지 않다.

에이전시 AI가 모든 것을 바꾼다

다음 단계는 에이전시 AI다. 이는 운영 플랫폼에 직접 삽입된 AI 시스템으로, 특정 인프라 도메인의 컨텍스트를 학습한다.

네트워킹 에이전트는 네트워킹을, 스토리지 에이전트는 스토리지를, 컴퓨트 에이전트는 컴퓨트를 이해한다. 각 에이전트는 Day 2 운영에 깊이 있는 도메인‑특화 인텔리전스를 제공한다.

“각 레이어마다 이미 인텔리전스가 있다.”
— Vishnubhotla
“이 인텔리전스를 연결하면 매우 강력한 결과를 이끌어낼 수 있다.”

여기서 에이전시 메시 개념이 등장한다(agentic mesh). 사일로화된 인사이트 대신 AI 에이전트가 레이어 간 컨텍스트를 공유해 프로비저닝, 트러블슈팅, 최적화 단계에서 협업한다. 이는 근본 원인 파악 시간을 단축하고, 알림 소음을 감소시키며, 예측적·자율적 운영으로 가는 문을 연다.

예측 유지보수가 대표적인 사례다. 장애에 대응하는 대신 AI가 고장 가능성을 사전에 예측하고, 실제로 중요한 항목을 우선순위화해 팀이 장애가 확산되기 전에 조치를 취하도록 돕는다.

AI 가치를 빠르게 실현하려면 숙련된 운영이 필요하다

에이전시 운영은 기업이 깊이 관심을 갖는 AI ROI 가속을 가능하게 한다.

플랫폼 차원의 통합