독립적인 AI 그리드의 필요성

Source: Hacker News

Overview

비터 레슨은 최전선 AI 진보를 열기 위해 컴퓨팅을 확장해야 한다고 말합니다. 경험적 기록은 이를 확인합니다.

집중된 독립 팀들은 최근 몇 년간 컴퓨팅 단위당 놀라운 산출물을 보여주었습니다. Anthropic/Claude는 코드 분야에서, Black Forest Labs/Flux는 이미지 생성에서, Luma는 비디오 생성에서, ElevenLabs와 Sesame는 음성 및 대화에서 모두 짧은 시간 안에 최첨단 결과물을 만든 팀들입니다. 이는 비터 레슨에 기반하지 않은 접근 방식에 비해 훨씬 빠른 속도입니다.

최전선 진보의 최적 단위는 막대한 컴퓨팅 자원에 접근할 수 있는 집중된 인재 밀집 팀입니다.

이 역학은 가속화되고 있습니다. AI 도구는 집중된 팀들을 급격히 더 능력 있게 만들고 있습니다. 2022년에 큰 팀이 필요했던 작업을 이제 2026년에는 5인 실험실이 수행할 수 있습니다. 코드 생성, 데이터 파이프라인 자동화, 오픈‑웨이트 모델은 모두 인재 밀집의 수익을 복합적으로 증가시키며 조직 팽창에 대한 페널티를 높입니다. 이는 최전선 작업을 수행할 수 있는 팀 수가 폭발적으로 늘어난다는 의미이기도 합니다.

문제는 독립성이 큰 구조적 비용—낮은 컴퓨팅 활용도와 불확실한 접근성—을 동반한다는 점입니다.

최전선 워크로드는 종종 예측하기 어렵습니다. 대규모 학습 실행 뒤에 주기적인 추론 기간이 이어지고, 그 사이에 유휴 용량이 존재하며, 그 사이에도 다양한 상황이 발생합니다. 개별 팀이 이를 효율적으로 프로비저닝하기는 어렵습니다. 팀들은 종종 피크에 대비해 과다 프로비저닝하고, 저점에서는 낭비하게 됩니다. 전용 다중 테넌시와 규모가 부족해 작업 오케스트레이션을 최적화할 수 없습니다.

그 결과, 가장 생산적인 팀들이 동시에 가장 비싼 투입 자원을 가장 비효율적으로 소비하는 경우가 많습니다. 경험에 따르면, 독립 팀 내에서 전체 FLOPs의 30‑40 %가 자주 사용되지 않는 경우가 흔하며, 그럼에도 불구하고 이들 팀은 컴퓨팅 자원이 지속적으로 부족하다고 느낍니다.

이는 가혹한 선택을 초래합니다. 대규모로 컴퓨팅에 접근하고 효율적으로 사용하려면, 독립 팀은 가장 중요한 자원의 상당 부분이 소모되는 것을 감수하거나, 규모가 크고 목표가 맞지 않는 조직에 억지로 합류해 컴퓨팅 접근성을 확보해야 합니다.

이러한 흐름 속에서 인류는 손해를 보게 됩니다. 최전선에서 개발할 수 있는 팀 수가 줄어들기 때문입니다. 건강한 독립 최전선 기술 생태계는 혁신에 도움이 됩니다.

The Grid

프론티어 혁신은 그러나 희소한 물리적 자원—에너지, 토지, 희귀 금속—을 점점 더 큰 규모로 소비합니다. 이러한 자원은 와트, 에이커, 달러를 돌파구로 전환할 수 있는 조직으로 흐르게 해야 합니다. 희소한 물리적 자원당 프론티어 산출을 극대화하는 것은 인류 규모의 문제입니다.

독립적인 AI 그리드, 즉 독립 팀들 간에 컴퓨팅을 풀링하는 시스템은 이 문제를 해결합니다.

이는 두 가지 확장 문제를 분리함으로써 이루어집니다. 혁신은 독립성을 통해 확장되고, 컴퓨팅은 풀링된 인프라를 통해 확장됩니다.

활용 경제학은 강력할 수 있습니다. 그리드 구성원들이 언제든지 서로 다른 단계에 있을 때—예를 들어 한 팀은 연구 모드에, 다른 팀은 배포 모드에 있을 때—각 개별 워크로드가 급증하더라도 전체 수요 곡선은 부드럽게 유지됩니다.

독립 팀들이 컴퓨팅 필요를 풀링하면, 서로를 위해 활용도를 최대화하는 것이 유일한 기능인 인프라 계층을 만들게 되며, 이는 개별 자유를 침해하지 않습니다. 각 구성원은 독립성을 유지하고 자체 베이스로드를 완전하게 제어하면서, 그렇지 않으면 컴퓨팅당 더 적은 돌파구를 생산하는 조직이 되어야만 가능한 규모의 자동화된 인프라에 접근할 수 있게 됩니다.

프론티어 워크로드는 하드 인프라 문제—무음 데이터 손상, 토폴로지 인식 스케줄링, 전원 관리, 빠른 체크포인팅—를 부과합니다. 이러한 문제는 일반 클라우드 제공자가 해결하지 못합니다. 현재 각 연구소는 이를 해결하기 위해 자체 팀을 구축하고 있어, 분야 전체에 걸쳐 노력이 중복되고 있습니다. 그리드는 이를 한 번만 해결하여 모든 구성원이 활용할 수 있는 공유 자동화로 제공합니다.

한 가지 반론은 AI 그리드가 단지 더 많은 단계가 추가된 클라우드에 불과하다는 것입니다. 차이점은 그리드가 제공자들을 가로질러 컴퓨팅을 풀링함으로써 개별 팀에게 가능한 한 유연한 컴퓨팅 접근성을 제공한다는 점입니다.

두 번째 반론은 그리드 구성원들이 성장하면서 내부적으로 그리드의 가치를 복제하고 더 이상 필요하지 않게 될 수 있다는 것입니다. 이는 부분적으로는 사실일 수 있습니다: 단일 구성원이 복제할 수 있는 것—스케줄러, 운영 팀, 조달 레버리지, 토큰 할인—은 규모가 커질수록 가치가 감소합니다. 그러나 오직 그리드가 집합적으로 제공할 수 있는 것들은 더 가치 있게 됩니다: 모든 구성원에 걸친 부드러운 수요 곡선, 생태계 전체의 집단 지능, 그리고 위기 상황에서 정렬된 그리드가 각 구성원에게 제공할 수 있는 대규모 보안.

쓴 교훈은 우리에게 컴퓨팅을 확장하라고 말했습니다. 현실은 독립성을 유지하면서 규모를 확장하는 것이 어렵다고 말합니다. 올바르게 운영된다면 AI 그리드는 이 문제를 해결할 수 있는 시스템입니다.

AMP PBC

AMP는 공익 법인입니다. 우리의 비전은 건강하고 독립적인 최전선 기술 생태계이며, 우리의 사명은 전 세계의 최전선 산출을 극대화하는 것입니다.

우리의 전임 창립 팀은 A16Z의 AI 인프라 펀드 출신, 구글의 글로벌 AI 인프라 엔지니어링 팀 출신, 그리고 Orrick과 Edelman의 파트너들로 구성되어 있습니다.

우리의 창립 그리드 파트너에는 세계 최고의 연구소들이 포함되어 있습니다.

우리의 당면 목표는 AMP를 통해 사용되는 동일한 컴퓨팅 자원이 회원과 인류를 위해 더 많은 학습 실행, 더 많은 실험, 그리고 더 많은 최전선 연구 산출을 확보하도록 하는 것입니다.

우리는 현재 사명에 부합하는 조직들을 초기 회원으로 그리드에 초대하고 있습니다. 자세히 알고 싶으시면 grid@amppbc.com으로 연락 주세요.