AI가 만든 메모리 부족을 해결하는 방법
출처: The New Stack
메모리는 현대 기술 팀에게 있어 컴퓨팅보다 주요 제약 요인으로 자리 잡았습니다. 하드웨어 아키텍처 제한, 반도체 공급망 불확실성, 그리고 변화하는 소프트웨어 라이선스 모델이 맞물리면서 기업들은 점점 더 메모리 제한이 심한 환경에 직면하고 있습니다. 동시에 고대역폭 AI 워크로드는 생산 라인의 메모리 공급 능력을 초과하고 있으며, AI 토큰 비용이 급여보다 더 많이 청구될 때 상황이 벌어지고 있습니다.
지난 1년 동안 고대역폭 메모리(HBM)와 동적 랜덤 액세스 메모리(DRAM)의 가격이 전례 없는 170% 상승했으며, 일부 가상화 구독료가 두 배 이상 올랐습니다(출처1, 출처2).
이 모든 상황은 기업이 “가능한 한 많이 사는” 사고방식에서 데이터 기반 최적화 전략으로 전환해야 함을 의미합니다.
다행히 AI는 문제의 일부일 뿐만 아니라, 메모리 경제에 AI를 적용하면 해결책의 핵심이 됩니다.
바라스 람(Bharath Ram), Hewlett‑Packard Enterprise (HPE) 제품 관리 이사는 The New Stack에 이렇게 설명했습니다. “부품 부족 현상이 있습니다. 오늘날 가격이 상승했죠. 그래서 고객들은 기존 인프라를 절감·최적화할 방법을 찾고 있습니다. 새로운 장비를 구매하지 않아도 워크로드를 실행할 수 있도록 말이죠.”
조직이 모든 메모리를 무작정 확보하려는 것이 아니라 멀티‑클라우드·하이브리드 클라우드 환경 전반에 걸친 워크로드와 배치를 최적화하는 데 초점을 맞춘다면, 기업은 현대화 속도를 높일 뿐 아니라 의사결정 주기를 최대 80% 단축하고, 비용을 최대 50% 절감할 수 있습니다(HPE CloudPhysics). 아래에서 추측에 의존하던 IT를 어떻게 더 똑똑하게 전환할 수 있는지 살펴보세요.
기술도 낭비 문제에 직면해야 한다
대부분의 기업은 가시성 부족과 위험 회피 때문에 과다 프로비저닝을 하고 있습니다.
이와 동시에 레거시 애플리케이션을 운영하면서 점점 비효율이 커지고, 실제로 사용되지 않는 좀비 서비스가 다수 존재합니다.
게다가 대부분의 AI 워크로드는 최신 메모리 기술에 의존하고 있어, 반도체 제조업체가 DDR4에서 DDR5로 생산 우선순위를 전환하면서 DDR4 공급이 더욱 감소하고 있습니다. 이 영향은 산업 전반에 미쳐, 개인용 PC 가격이 전년 대비 15%~30% 상승했습니다.
변동성이 큰 DRAM 가격과 코어 밀도 증가를 더하면, 비기술적인 경영진조차도 메모리 효율성에 대해 고민하게 됩니다. 마이크로소프트, 구글, 아마존, 메타와 같은 대기업은 가능한 한 많은 AI 칩을 사재기하고 있어, 공급망 전반에 부품 부족과 가격 압박을 가중시키고 있습니다. 그 결과, 더 많은 기업이 인프라와 메모리를 비축하고 있습니다.
이러한 과잉 구매는 메모리에만 국한되지 않습니다. 기업들은 서버와 같은 인프라조차도 필요 시점보다 미리 구매하고 있습니다. 람은 “비용이 너무 급등하고 있기 때문에, 오늘 받은 견적이 내일은 동일한 인프라에 대해 다른 가격이 될 수 있습니다. 현재 시장이 매우 변동적이라는 것을 보여줍니다.”라고 말합니다.
하지만 상황이 전부 부정적인 것은 아닙니다. HPE는 현재 **20%~40%**의 인프라가 과다 프로비저닝된 상태라고 추정합니다. 이는 효율성을 높일 기회이며, 제한된 자원을 더 빠르고 안전하게 활용할 수 있다는 뜻이기도 합니다.
기업은 이제 추가 RAM을 찾기 전에 현재 보유하고 있는 자원을 최적화할 수 있는 역량이 그 어느 때보다 강화되었습니다.
모든 것은 이해에서 시작된다
이러한 낭비가 지속되는 이유는 기업 인프라가 가시성 부족에 가려져 있기 때문입니다. 누가 어떤 데이터를 가지고 무엇을 하는지, 어떤 서비스가 그것에 의존하는지 명확히 파악하기 어렵습니다.
클라우드로 단순히 리프트‑앤‑시프트만 하는 기업들이 겪는 문제와 동일하게, 메모리 효율성을 끌어올리지 못하는 이유도 바로 이 가시성 부족입니다. 복잡한 하이브리드·멀티‑클라우드 분산 시스템 전반에 걸쳐 실제 사용 현황을 파악할 수 있는 도구가 거의 없습니다. 그래서 기업들은 10년 넘게 추측하고 과잉 구매를 반복해 왔습니다.
“과다 프로비저닝과 인프라에 대한 이해 부족이 복합적으로 작용합니다. 많은 기업이 퍼블릭 클라우드 기반 프로비저닝과 셀프‑서비스를 이용하고 있는데, 이 경우 기본 인프라가 무엇인지 알 수 없고, 관리자는 서비스 역량에 따라 자유롭게 활용하게 됩니다.”라고 람은 설명합니다. “하나는 메모리 부족, 다른 하나는 배포된 인프라를 파악하고 적정 규모로 조정하는 것입니다.”
과다 프로비저닝 습관을 끊기 위해서는 현실에 기반한 변화가 필요합니다. 첫 번째 단계는 실제 사용 데이터를 수집·분석하는 것입니다. 이를 위해 HPE CloudPhysics와 같은 도구를 활용해 사실 기반 기준점을 설정하고, 수년간의 가정이 아닌 실제 비용 요인을 구분합니다.
이를 통해 기업은 다음을 할 수 있습니다.
- 가상화 발자국과 라이선스 노출을 파악
- 워크로드 초기화와 효율성을 시각화
- 실제 비용 요인을 식별하고 조치
실제 호스트당 VM 수와 가동·중지 상태를 실시간 모니터링하지 않으면 적정 규모 조정이 불가능합니다.
예측적, 반응이 아닌 프로비저닝
복잡한 분산 시스템에 대한 단일 진실 원천이 확보되면, 기업은 무엇을, 언제, 어디에, 어떻게 배포할지 탐색할 수 있습니다.
“SAP HANA와 같은 애플리케이션은 메모리와 레이턴시 집약도가 매우 높습니다. 비용 절감을 위해 ‘핫·콜드 메모리 티어링’ 알고리즘을 최적화하는 것이 아니라, 애플리케이션 성능을 해치지 않으면서 메모리를 효율적으로 활용해야 합니다.”라고 람은 설명합니다. 이는 과거 메모리가 부족해 프로그램을 메모리에서 디스크로 스와핑하던 상황과 유사합니다.
현대적 해결책의 일환으로, 람은 기업이 이미 보유한 자원으로 과다 프로비저닝할 수 있다고 강조합니다. “예를 들어, 물리 메모리 64GB를 가진 호스트가 실제 물리 용량보다 더 많은 메모리를 VM에 할당할 수 있습니다. 실제로 모든 VM이 동시에 전체 할당량을 사용하지 않기 때문에, 사용되지 않는 용량을 필요에 따라 동적으로 재배정할 수 있습니다.”
메모리 버블링은 새로운 개념이 아니라, 현재 시장에서 절실히 필요한 기술입니다. 이번 여름에 출시될 Morpheus 9.0 버전은 현대적인 메모리 오버서브스크립션 기능을 제공할 예정이며, HPE는 이를 통해 관리자가 호스트당 물리 메모리를 여러 VM에 오버서브스크립션하여 VM 밀도를 높이고 효율성을 향상시킬 수 있다고 설명합니다. 이는 테스트·개발 환경, 가상 데스크톱 인프라, 그리고 메모리 요구량이 가변적인 워크로드에 특히 유용합니다.
아키텍처 효율성으로 전환
모든 메모리 할당을 최적화하고 적정 규모로 조정했다면, 이제 하드웨어 효율성을 높이는 새로운 플랫폼으로 워크로드를 이동할 차례입니다.
“마지막 단계는 서버당 워크로드 밀도를 높이는 것입니다. 특히 코어당 소프트웨어 라이선스 비용이 상승하고 있기 때문이죠.”라고 람은 말합니다. 그는 오픈소스 하이퍼바이저 기반 가상화 솔루션을 활용하면 현재 활용률을 높이고, 향후 소켓당 라이선스 모델로 전환하는 데 도움이 된다고 강조합니다. (적합한 애플리케이션에 대해서는 …)