Niv-AI, 스텔스 모드를 종료하고 GPU에서 더 높은 전력 성능을 끌어내다
Source: TechCrunch
AI를 위한 전력 문제
전기는 인공지능의 핵심 원자재이지만, 새로운 처리 기술이 데이터센터 운영자가 전력망과의 관계를 관리하는 능력을 앞서면서 최대 30%까지 성능을 제한해야 하는 상황이 발생하고 있습니다.
“이 AI 공장들에서는 너무 많은 전력이 낭비되고 있습니다,” 라고 Nvidia CEO Jensen Huang이 회사 연례 GTC 고객 컨퍼런스 키노트 연설에서 말했습니다. “사용되지 않은 와트 하나하나가 매출 손실입니다,” 라고 회사는 연례 발표에서 선언했습니다.
Niv‑AI, 스텔스 모드에서 등장
스타트업 Niv‑AI가 1,200만 달러의 시드 펀딩을 받아 이 문제를 해결하기 위해 새로운 센서로 GPU 전력 사용을 정밀 측정하고 이를 보다 효율적으로 관리하는 도구를 개발한다며 스텔스 모드에서 나왔습니다.
- 창업자: CEO Tomer Timor, CTO Edward Kizis
- 지원자: Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward, Aurora Capital Partners
- 평가액: 공개되지 않음
전력 급증 문제
프런티어 연구소들은 수천 대의 GPU를 동시에 운영해 고급 모델을 학습하고 실행합니다. 프로세서가 연산 작업을 전환하고 다른 GPU와 통신할 때 밀리초 단위의 전력 수요 급증이 발생합니다. 이러한 급증은 데이터센터가 전력망으로부터 끌어오는 전력을 관리하기 어렵게 만듭니다. 충분한 전기가 부족해지는 상황을 피하기 위해 데이터센터는 다음 중 하나를 선택합니다.
- 급증을 충당하기 위해 임시 에너지 저장소에 비용을 지불하거나,
- GPU 사용을 제한한다.
두 방법 모두 고가의 칩에 대한 투자 수익률을 낮춥니다.
“우리는 지금처럼 데이터센터를 건설하는 방식을 계속 유지할 수 없습니다,” 라고 Grove Ventures 파트너이자 Niv‑AI 이사회 멤버인 Lior Handlesman이 말했습니다.
Niv‑AI의 접근 방식
랙‑레벨 센서
Niv‑AI 로드맵의 첫 단계는 현재 상황을 파악하는 것입니다. 회사는 현재 자체 GPU와 디자인 파트너와 함께 사용하는 GPU에 대해 밀리초 수준의 전력 사용을 감지하는 랙‑레벨 센서를 배치하고 있습니다. 목표는 다양한 딥러닝 작업의 구체적인 전력 프로파일을 매핑하고, 데이터센터가 기존 용량을 더 많이 활용할 수 있도록 완화 기술을 개발하는 것입니다.
AI 기반 “코파일럿”
엔지니어들은 수집된 데이터를 기반으로 AI 모델을 구축해 전력 부하를 예측하고 데이터센터 전반에 걸쳐 동기화하는 “코파일럿”을 만들 계획입니다.
일정
Niv‑AI는 향후 6~8개월 내에 미국 내 몇몇 데이터센터에서 운영 가능한 시스템을 갖출 것으로 예상합니다. 이 시기는 새로운 데이터센터를 건설하는 하이퍼스케일러들이 토지 사용 및 공급망 문제에 직면하고 있는 시점과 맞물려 매력적입니다.
비전: 데이터센터와 전력망 사이의 인텔리전스 레이어
“전력망은 특정 시점에 데이터센터가 너무 많은 전력을 소비하는 것을 두려워합니다,” 라고 Timor가 TechCrunch에 말했습니다. “우리가 바라보는 문제는 두 갈래의 로프와 같습니다. 하나는 데이터센터가 더 많은 GPU를 활용하고 이미 지불하고 있는 전력을 더 효율적으로 쓰도록 돕는 것이고, 다른 하나는 데이터센터와 전력망 사이에 보다 책임감 있는 전력 프로파일을 만드는 것입니다.”
펀딩 및 팀
- 시드 라운드: 1,200만 달러
- 투자자: Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward, Aurora Capital Partners
- 창업자: Tomer Timor (CEO), Edward Kizis (CTO)
회사는 평가액을 공개하지 않았습니다.