AI 벤치마크가 실제 성능에서 놓치는 것
Source: VentureBeat
Presented by F5
엔터프라이즈 AI 팀은 수년 동안 컴퓨팅 문제를 해결하고, GPU 할당을 확보하며, 클라우드 용량을 협상하고, 학습 처리량을 벤치마킹해 왔습니다. 이 작업에 내재된 가정은 스토리지와 컴퓨팅 사이의 경로가 계속 따라잡을 것이라는 점입니다. 실제 운영에서는 이 가정이 점점 더 성립하지 않습니다. 실제 트래픽은 지연 스파이크, 네트워크 지터, 노드 성능 저하를 초래하는데, 이는 통제된 벤치마크에서는 포착되지 않아 실험실에서는 잘 동작하지만 배포 단계에서는 정체되는 파이프라인을 만들게 됩니다. 이에 대한 대응으로 AI 데이터 전달이 부상하고 있으며, 스토리지 앞에 애플리케이션 전달 컨트롤러(ADC) 또는 애플리케이션 전달 및 보안 플랫폼(ADSP)을 배치해 탄력적이고 안전한 제어 지점을 마련하고 있습니다.
“프로비저닝은 용량 문제는 해결하지만 전달 문제는 해결하지 못합니다. 바로 그곳에 현재 제약이 숨어 있습니다,” 라고 F5의 제품 마케팅 수석 매니저인 헌터 스밋(Hunter Smit)은 말합니다. “기업들은 충분한 GPU와 스토리지를 구매하고, 그 사이의 경로가 따라잡을 것이라고 가정합니다. 하지만 AI 트래픽은 버스트 형태이며, 동시성이 높고, 읽기 패턴이 무작위적이라 기존 스토리지 네트워킹이 흡수하도록 설계되지 않았습니다.”
생산 환경 격차를 벤치마크가 보여주지 못함
표준 벤치마크 방법론이 문제를 악화시킨다고 F5의 기술 제휴 담당 수석 솔루션 아키텍트 폴 핀델(Paul Pindell)은 말합니다.
“벤치마크 테스트는 보통 가장 좋은 성능이나 보안 결과를 도출하도록 설계되며, 가장 현실적인 결과를 목표로 하지 않습니다,” 라고 그는 설명합니다. “S3에서는 지연이 성능 저하의 알려진 요인이므로, 의미 있는 테스트를 위해서는 경로에 일관된 지연을 도입해야 합니다.”
대부분의 벤치마크 환경은 이를 수행하지 않으며, 그 결과 기업이 인프라 결정을 내릴 때 참고하는 성능 수치는 실제 운영 시스템이 결코 재현하지 못하는 조건에서 나온 것입니다. 이 가정을 검증하기 위해 F5와 MinIO는 네트워크가 열화된 상황에서 처리량 테스트를 진행했습니다.
“지연을 도입하자마자 S3 처리량이 급격히 떨어지는 것이 눈에 띄었습니다,” 라고 핀델은 말합니다. “조금만 지연이 있어도 실질적인 타격을 입히고, 지연이 장거리 수준으로 커지면 성능 저하는 심각해집니다.”
테스트 결과는 지연이 지터보다 처리량 손실을 일으키는 주요 원인이라는 점을 보여주었으며, 이는 팀이 예상했던 바와는 반대였습니다. 기업 아키텍트에게 주는 교훈은 S3 객체 스토리지를 ‘클린룸’ 가정에 기반해 설계해서는 안 되며, 실제 마주하게 될 열화된 네트워크 조건을 고려해 설계해야 한다는 것입니다.
취약한 데이터 경로의 비용
“AI 인프라에서는 GPU가 가장 눈에 띄고 비용이 많이 드는 자원이라 자연스럽게 GPU에 집중하게 됩니다,” 라고 F5의 제품 관리 수석 이사 타누 무트레자(Tanu Mutreja)는 말합니다. “하지만 실제 운영 환경에서는 GPU가 제공하는 가치는 이를 공급하는 데이터 경로에 달려 있습니다.”
이 경로는 스토리지, 네트워킹, 데이터베이스, 보안, 오케스트레이션 레이어를 거치며, 종종 여러 공급업체가 얽혀 있습니다. 고객은 이러한 접합부를 직접 경험하지 못하고, 전체 시스템의 결과물만을 체감합니다.
데이터 경로가 열화되면 그 영향은 복합적으로 나타납니다. GPU 활용도가 낮아지는 것이 가장 즉각적이고 눈에 띄는 증상이지만, 무트레자는 더 넓은 파급 효과를 지적합니다: 추론 성능 저하, 품질 낮은 AI 결과물, 불필요한 데이터 복제에 따른 높은 이그레스 비용, 그리고 운영 복잡성 증가 등.
“대규모 환경에서는 데이터 경로 효율성이 기술 최적화가 아니라 전략적 비즈니스 레버가 됩니다,” 라고 그녀는 강조합니다. “데이터 경로가 잘 설계되면 GPU는 생산성을 유지하고, AI 애플리케이션은 반응성이 높으며 신뢰성을 확보하고, 운영은 효율적으로 확장되며, 조직은 AI 투자 수익을 극대화할 수 있습니다.”
AI 워크로드는 전통적인 엔터프라이즈 애플리케이션보다 이러한 실패에 구조적으로 더 취약합니다. 데이터베이스, ERP 시스템, 웹 서비스는 캐싱과 버퍼링을 통해 일시적인 스토리지 지연을 흡수합니다. 반면, 대규모 병렬 GPU 클러스터에서 실행되는 AI 워크로드는 동등한 보호 메커니즘이 없습니다. 무트레자가 지적했듯이, 사소한 지연 스파이크나 대역폭 병목 현상도 대규모 GPU 클러스터 전반에 파급되어 활용도, 학습 효율, 고객 경험을 동시에 저하시킬 수 있습니다.
스토리지 엣지를 제어 지점으로 다루기
수십 년 동안 스토리지와 인텔리전스는 엔터프라이즈 아키텍처에서 순차적인 관심사로 다뤄졌습니다. 데이터는 먼저 저장되고, 이후 하류에서 분석되었습니다. 무트레자는 이 모델이 AI 시대의 요구에 맞지 않다고 주장합니다.
“경쟁 우위는 데이터 양뿐 아니라 관련성, 계보, 보안, 그리고 데이터 전달 성능에 의해 결정됩니다,” 라고 그녀는 말합니다. “업계 전반—NVIDIA, AWS부터 엔터프라이즈 스토리지 제공업체까지—는 데이터를 위에 쌓는 것이 아니라 데이터 인프라 자체에 인텔리전스를 내장하는 방향으로 움직이고 있습니다.”
F5와 MinIO의 통합은 스토리지와 컴퓨트가 실제로 상호 작용하는 레이어에서 이 접근 방식을 구현합니다. F5 ADSP의 일환으로 BIG‑IP가 데이터 경로에 배치되어 MinIO의 분산 스토리지 노드 상태를 지속적으로 모니터링하고, 사용 가능한 노드에만 요청을 라우팅합니다.
노드 열화 시 운영 영향
분산 스토리지 클러스터에서는 노드가 열화되는 것이 예상되는 상황입니다. 지능형 라우팅이 없으면, 비정상적인 노드에 도달한 클라이언트는 재시도를 해야 하고, 또 다른 열화된 노드에 연결될 수 있어 전체 성능이 저하됩니다.
“F5는 트래픽이 항상 건강한 노드, 혹은 가장 한가한 노드로만 흐르도록 보장합니다. 따라서 S3 클라이언트 트래픽은 가장 효율적인 방식으로 처리됩니다,” 라고 핀델이 설명합니다.
분산 환경 전반의 거버넌스
AI 파이프라인이 여러 지역, 클라우드, 엣지 환경에 걸쳐 확장될수록 문제는 커집니다.
“AI 파이프라인이 지역과 클라우드를 넘어서면, 논의는 성능이 아니라 제어가 됩니다,” 라고 스밋이 말합니다. “각 관할 구역마다 다른 규칙이 적용되고, 디지털 주권이 설계 제약이 됩니다. 데이터가 어디에 존재할 수 있는지, 누가 접근할 수 있는지, 어떤 경계를 넘을 수 없는지가 속도 논의보다 먼저 아키텍처를 결정합니다.”
이러한 압력은 기업이 퍼블릭 클라우드에서 AI 워크로드를 자체 데이터 센터로 이전하는 추세를 가속화하고 있습니다. 스밋이 설명한 아키텍처는 애플리케이션을 단일 스토리지 위치와 분리하고, 모든 스토리지에 일관된 정책을 적용하는 통합 제어 지점을 두어 문제를 해결합니다.
“주권, 복원력, 비용은 이제 지역별로 따로 관리하는 트레이드오프가 아니라, 시스템 차원에서 운영되는 역량이 됩니다,” 라고 그는 강조합니다.
스토리지‑투‑컴퓨트 경로를 관리형 제어 지점으로
이 문제들을 해결하려면, 엔터프라이즈 팀은 스토리지‑투‑컴퓨트 경로를 직접 연결된 라인으로 보지 말고, 관리형 제어 지점으로 다루어야 합니다, 라고 스밋이 말합니다. SecureIQLab이 수행한 F5 BIG‑IP의 스토리지 배포에 대한 독립 검증은 이 접근 방식이 처리량을 포기하지 않으면서도 복원력을 제공한다는 것을 확인했습니다.
“두 사이에 풀 프록시 ADC를 삽입하면 경로가 가시화되고, 프로그래밍 가능해지며, 장애를 인식하게 됩니다. 건강 상태 기반 라우팅, QoS, 보안이 인라인으로 적용됩니다,” 라고 그는 설명합니다. “이 한 단계만으로 데이터 전달을 가정이 아닌 설계된 규율로 전환하게 되며, 이는 조건이 열화될 때도 GPU에 지속적으로 데이터를 공급할 수 있게 하는 핵심입니다.”
*Sponsored articles are content produced by a company that is either paying for the post or has a business relationship with VentureBeat, and they