스타트업 Gimlet Labs가 AI inference 병목 현상을 놀라울 정도로 우아하게 해결하고 있다

Source: TechCrunch

Funding Round

스탠포드 부교수이자 성공적으로 회사를 매각한 창업자 Zain Asgar가 그의 스타트업 Gimlet Labs를 위해 8천만 달러 규모의 Series A 라운드를 유치했습니다. 이번 라운드는 Menlo Ventures가 주도했습니다. 이전 시드 라운드를 포함해 Gimlet Labs는 현재까지 총 9천200만 달러를 모금했습니다.

Technology

Gimlet Labs는 자신들이 만든 최초이자 유일한 **“멀티‑실리콘 인퍼런스 클라우드”**를 선보였습니다. 이 소프트웨어는 AI 워크로드를 전통적인 CPU, AI에 최적화된 GPU, 고메모리 시스템 등 다양한 하드웨어에서 동시에 실행할 수 있게 해줍니다.

“우리는 기본적으로 사용 가능한 모든 하드웨어 위에서 실행합니다,” 라고 Asgar는 TechCrunch에 말했습니다.

단일 AI 에이전트는 여러 단계로 구성될 수 있으며, 각 단계마다 서로 다른 하드웨어가 필요합니다:

• Inference – 컴퓨팅‑집중형
• Decode – 메모리‑집중형
• Tool calls – 네트워크‑집중형

하나의 칩으로는 이러한 모든 요구를 충족시킬 수 없지만, 새로운 하드웨어가 도입되고 오래된 GPU가 재배치될 때마다 멀티‑실리콘 플릿은 준비됩니다—필요한 것은 이를 조율할 소프트웨어 레이어뿐입니다. Gimlet Labs가 바로 그 레이어를 제공합니다.

Performance Claims

• 동일한 비용과 전력으로 3배‑10배 빠른 AI 인퍼런스.
• 기본 모델을 슬라이스하여 각 부분을 가장 적합한 아키텍처에서 실행할 수 있는 능력.

Partnerships

Gimlet Labs는 NVIDIA, AMD, Intel, ARM, Cerebras, 그리고 d‑Matrix 등 주요 칩 제조업체와 파트너십을 맺었습니다.

Market Context

McKinsey는 데이터센터 지출이 2030년까지 7조 달러에 이를 것으로 추정합니다. Asgar는 현재 AI 애플리케이션이 사용 중인 하드웨어의 **15 %‑30 %**만 활용하고 있어 수천억 달러 규모의 유휴 자원이 남아 있다고 지적합니다.

“우리의 목표는 오늘날 AI 워크로드를 기존보다 10배 더 효율적으로 만들 수 있는 방법을 찾는 것이었습니다.” – Zain Asgar

Product Offering

Gimlet의 제품은 소프트웨어 형태이거나 자체 Gimlet Cloud에 대한 API 형태로 제공됩니다. 이는 일반 AI 앱 개발자보다는 대규모 AI 모델 랩 및 데이터센터를 주요 타깃으로 합니다.

회사는 10월에 공개적으로 출시했으며, 천만 달러 이상의 매출을 기록하고 있습니다. 고객 기반은 지난 4개월 동안 두 배 이상 성장했으며, 현재 주요 모델 제작사와 대형 클라우드 컴퓨팅 기업(구체적인 이름은 비공개)을 포함하고 있습니다.

Founders & Background

창업 팀은 다음과 같습니다:

• Zain Asgar (CEO)
• Michelle Nguyen
• Omid Azizi
• Natalie Serrino

공동 창업자들은 이전에 Pixie에서 함께 일했습니다. Pixie는 쿠버네티스용 오픈소스 관측 도구였으며, 2020년에 Benchmark가 주도한 9백만 달러 규모의 Series A 투자 후 New Relic에 인수되었습니다.

Investors

• Menlo Ventures (Series A 주도)
• Factory (시드 라운드 주도)
• Eclipse Ventures
• Prosperity7
• Triatomic
• 엔젤 투자자: Bill Coughran (Sequoia), Nick McKeown (Stanford), Raghu Raghuram (전 VMware CEO), Lip‑Bu Tan (Intel CEO)

Team

Gimlet Labs는 현재 30명의 직원을 고용하고 있습니다.