Nvidia, Groq와 실시간 AI를 향한 석회암 경쟁: 기업이 여기서 승패를 가르는 이유

Source: VentureBeat

(번역할 텍스트를 제공해 주시면 한국어로 번역해 드리겠습니다.)

사막을 가로질러 멀리서 보면, 대피라미드는 완벽하고 매끄러운 기하학 형태처럼 보이며—별을 가리키는 날렵한 삼각형이다.

하지만 기둥 밑에 서면 매끄러움이라는 착각은 사라진다. 거대한 울퉁불퉁한 석회암 블록들이 보인다. 이것은 경사가 아니라 계단이다.

다음에 미래학자들이 기하급수적 성장에 대해 이야기할 때 이것을 기억하세요.

인텔 공동 설립자 고든 무어(Gordon Moore, 무어의 법칙)는 1965년에 마이크로칩의 트랜지스터 수가 매년 두 배가 될 것이라고 말한 것으로 유명하게 인용된다. 다른 인텔 임원인 데이비드 하우스(David House)는 나중에 이 말을 “컴퓨팅 파워가 18개월마다 두 배가 된다”는 식으로 수정했다. 한동안 인텔의 CPU는 이 법칙의 전형적인 사례였지만—즉, CPU 성능 향상이 석회암 블록처럼 평평해질 때까지.

하지만 전체적으로 보면, 다음 석회암 블록은 이미 존재했다—컴퓨팅 성장 자체가 CPU에서 GPU 세계로 단순히 옮겨간 것이다. 엔비디아 CEO인 젠슨 황(Jensen Huang)은 장기적인 전략을 구사해 강력한 승자가 되었으며, 처음에는 게임을 통해, 그 다음에는 컴퓨터 비전을 통해, 최근에는 생성 AI를 통해 자신의 디딤돌을 구축했다.

---

The illusion of smooth growth

Technology growth is full of sprints and plateaus, and generative AI is not immune. The current wave is driven by transformer architecture. To quote Anthropic’s President and co‑founder Dario Amodei:

“지수적 성장은 멈출 때까지 계속됩니다. 그리고 매년 우리는 ‘아무리 생각해도 지수적으로 계속될 수는 없을 것 같다’고 생각했지만—그때마다 실제로는 계속되었습니다.”

But just as the CPU plateaued and GPUs took the lead, we are seeing signs that LLM growth is shifting paradigms again. For example, late in 2024, DeepSeek surprised the world by training a world‑class model on an impossibly small budget, in part by using the Mixture‑of‑Experts (MoE) technique.

You may recall where you recently saw this technique mentioned: Nvidia’s Rubin press release. The technology includes:

“…최신 세대의 Nvidia NVLink 인터커넥트 기술을 활용하여 agentic AI, 고급 추론 및 대규모 MoE 모델 추론을 토큰당 비용을 최대 10배 낮추면서 가속화합니다.”

Jensen knows that achieving that coveted exponential growth in compute doesn’t come from pure brute force anymore. Sometimes you need to shift the architecture entirely to place the next stepping stone.

지연 위기: Groq가 들어가는 위치

이 긴 소개는 Groq로 이어집니다.

2025년 AI 추론 능력에서 가장 큰 향상은 “추론‑시간 컴퓨팅”에 의해 이루어졌습니다—즉, 일반적인 말로는 “모델이 더 오래 생각하도록 하는 것”입니다. 하지만 시간은 금입니다. 소비자와 기업은 기다리는 것을 좋아하지 않습니다.

Groq는 여기서 번개 같은 속도의 추론으로 등장합니다. DeepSeek와 같은 모델의 구조적 효율성과 Groq의 막대한 처리량을 결합하면 최첨단 인텔리전스를 손끝에서 얻을 수 있습니다. 추론을 더 빠르게 실행함으로써 경쟁 모델보다 out‑reason 할 수 있으며, 지연의 페널티 없이 고객에게 “더 똑똑한” 시스템을 제공할 수 있습니다.

---

범용 칩에서 추론 최적화까지

지난 10년 동안 GPU는 모든 AI 작업을 위한 범용 해머 역할을 해왔습니다. 모델을 학습할 때는 H100을 사용하고; 모델을 실행할 때도 H100(또는 축소된 버전)을 사용합니다. 그러나 모델이 “System 2” 사고—즉 AI가 답변하기 전에 추론하고, 스스로 교정하며, 반복하는—로 전환되면서 계산 작업 부하가 변합니다.

• 학습은 대규모 병렬 브루트 포스를 필요로 합니다.
• 추론, 특히 추론 모델의 경우, 더 빠른 순차 처리가 필요합니다. 사용자가 답변을 기다리는 동안 몇 분이 걸리지 않도록 복잡한 사고 사슬을 지원하기 위해 토큰을 즉시 생성해야 합니다.

Groq의 LPU (Language Processing Unit) 아키텍처는 소규모 배치 추론 시 GPU를 괴롭히는 메모리 대역폭 병목 현상을 제거하여 번개처럼 빠른 추론을 제공합니다.

Source: …

다음 성장 물결을 위한 엔진

C‑suite에게 이 잠재적 융합은 “생각‑시간” 지연 위기를 해결합니다. AI 에이전트에 대한 기대를 생각해 보세요: 우리는 에이전트가 스스로 항공편을 예약하고, 전체 앱을 코딩하며, 법적 선례를 조사하기를 원합니다. 이를 신뢰성 있게 수행하려면 모델이 사용자에게 한 단어를 출력하기 전에 자체 작업을 검증하기 위해 **10,000개의 내부 “생각 토큰”**을 생성해야 할 수도 있습니다.

• 표준 GPU에서는: 10,000 생각 토큰을 생성하는 데 20 – 40 초가 걸릴 수 있습니다. 사용자는 지루해져서 떠납니다.
• Groq에서는: 같은 사고 흐름이 2 초 미만에 이루어집니다.

Nvidia가 Groq의 기술을 통합한다면, “로봇이 생각하기를 기다리는” 문제를 해결하고 AI의 마법을 유지할 수 있습니다. 픽셀(게임) 렌더링에서 인텔리전스(생성 AI) 렌더링으로 전환한 것처럼, 이제는 실시간으로 추론을 렌더링하는 단계로 나아가는 것입니다.

게다가 이는 강력한 소프트웨어 해자를 형성합니다. Groq의 가장 큰 걸림돌은 항상 소프트웨어 스택이었고, Nvidia의 가장 큰 자산은 CUDA입니다. Nvidia가 Groq의 하드웨어 주위에 자체 생태계를 둘러싸면, 경쟁자가 넘을 수 없을 만큼 넓은 해자를 사실상 파낸 셈이 됩니다. 그들은 보편적인 플랫폼을 제공하게 됩니다: 훈련에 가장 좋은 환경 및 실행에 가장 효율적인 환경 (Groq/LPU).

이러한 원시 추론 성능에 차세대 오픈소스 모델(예: 소문난 DeepSeek 4)을 결합하면, 비용·성능·속도 면에서 오늘날 최첨단 모델에 필적하는 제품을 만들 수 있습니다. 이는 Nvidia에게 직접 클라우드 서비스를 통한 추론 사업에 진입하거나, 급증하는 고객 기반을 지속적으로 지원하는 등 다양한 기회를 열어줍니다.

피라미드의 다음 단계

우리의 서두 비유를 되돌아보면, AI의 “지수적” 성장은 단순히 원시 FLOP 수치가 매끄럽게 증가하는 것이 아니라, 병목 현상이 깨지는 계단식 구조입니다.

Jensen Huang는 다음 블록을 오르는 것을 결코 두려워하지 않았습니다.

“자신의 제품 라인을 희생시켜 미래를 장악한다. Groq를 검증함으로써 Nvidia는 단순히 더 빠른 칩을 사는 것이 아니라 차세대 인공지능을 대중에게 제공하는 것이다.”
— Andrew Filev, Zencoder 설립자 겸 CEO

VentureBeat 커뮤니티에 오신 것을 환영합니다!

우리의 게스트 포스팅 프로그램은 기술 전문가들이 통찰을 공유하고 AI, 데이터 인프라, 사이버 보안 및 기업의 미래를 형성하는 기타 최첨단 기술에 대해 중립적이고 비상업적인 심층 분석을 제공하는 곳입니다.

• 자세히 읽기 우리 게스트 포스트 프로그램에 대해:
  https://venturebeat.com/category/DataDecisionMakers

• 가이드라인 기여자를 위한:
  https://venturebeat.com/guest-posts

여러분의 기여를 기대합니다!