[Paper] 대규모 처리량 최적화 네트워크

Source: arXiv - 2605.27963v1

번역할 텍스트가 제공되지 않았습니다. 번역을 원하는 본문을 알려주시면 한국어로 번역해 드리겠습니다.

Overview

논문 “Throughput‑Optimized Networks at Scale” 은 수천 개의 가속기로 학습 워크로드를 확장할 때 많은 AI 엔지니어가 직면하는 병목 현상을 다룹니다: 데이터센터 네트워크가 거대한 all‑to‑all 트래픽을 따라가지 못합니다. 네트워크 토폴로지, 라우팅, 그리고 집합 통신 프리미티브를 재고함으로써, 저자들은 Google의 TPU v4/v5p 슈퍼컴퓨터에서 이전에 사용되지 않았던 terabytes‑per‑second 수준의 대역폭을 끌어내는 체계적인 방법을 보여줍니다.

주요 기여

• TONS framework – 토폴로지 설계를 처리량 프록시 메트릭에 초점을 맞춘 선형‑프로그램 문제로 공식화하는 자동화 도구입니다.
• Scalable synthesis – 이론적 보장과 휴리스틱을 결합하여 수천 개 노드에 대한 토폴로지를 실용적인 실행 시간 내에 생성합니다.
• Deadlock‑free routing scheme – 제한된 수의 가상 채널로 동작하고 광 스위치 결함을 허용하여 합성된 토폴로지가 하드웨어에 구현될 수 있도록 보장합니다.
• Empirical validation – 균일 무작위 및 전‑대‑전 트래픽 패턴에 대한 시뮬레이션 결과, 기존 최고 TPU 토러스 구성 대비 기하 평균 가속도가 2.1× 및 **1.6×**임을 보여줍니다.
• Open‑source‑ready design – 이 방법론은 표준 선형 최적화 형태로 표현되어 기존 데이터센터 계획 파이프라인에 쉽게 통합할 수 있습니다.

Source: …

방법론

1. Throughput‑centric proxy metric – 홉 수나 지연 시간 대신, 저자들은 달성 가능한 전체‑대‑전체 대역폭과 직접적으로 상관관계가 있는 메트릭을 정의합니다.
2. Linear optimization formulation – 네트워크 설계 문제(노드 배치, 링크 용량, 스위치 인터커넥트)를 일련의 선형 제약조건과 프록시 메트릭을 최대화하는 목표 함수로 인코딩합니다.
3. Scalability tricks –
   • Decomposition: 큰 문제를 더 작은 하위 문제(예: 랙당 또는 포드당)로 나누어 병렬로 해결할 수 있게 합니다.
   • Heuristic pruning: 실행 불가능하거나 명백히 최적이 아닌 링크 패턴을 조기에 제외하여 탐색 공간을 크게 줄입니다.
4. Routing algorithm – 광 스위치에서 일반적으로 제한되는 가상 채널 예산을 고려하면서, 결정적이고 deadlock‑free인 라우팅 스킴을 도출합니다. 이 알고리즘은 스위치 장애 발생 시 deadlock 자유성을 유지하면서 처리할 수 있는 fallback 경로도 포함합니다.
5. Simulation pipeline – 합성된 토폴로지와 라우팅 테이블을 패킷‑레벨 시뮬레이터에 입력하여, 균일 랜덤 트래픽(많은 머신러닝 워크로드를 대표)과 최악의 경우 전체‑대‑전체 트래픽(예: 그래디언트 집계)을 모두 모델링합니다.

결과 및 발견

• 처리량 격차 해소: 저자들은 기존 TPU 네트워크가 수 TB/s 정도의 원시 대역폭을 사용하지 않고 남겨두고 있다고 추정한다; TONS는 그 여유 공간 대부분을 회복한다.
• 견고성: 광 스위치의 최대 5 %가 결함이 있는 것으로 시뮬레이션되더라도, 라우팅 방식은 3 % 미만의 처리량 감소로 데드락‑프리(deadlock‑free) 동작을 유지한다.
• 확장성: 4 000‑노드 시스템에 대한 합성은 일반 워크스테이션(Intel i9, 64 GB RAM)에서 30 분 이하로 완료된다.

Practical Implications

• Faster AI training cycles: Higher all‑to‑all bandwidth directly reduces the time spent on gradient aggregation, which is often the dominant communication cost in large‑scale transformer training.
• Cost‑effective scaling: By extracting more performance from the same physical switch fabric, datacenter operators can postpone costly hardware upgrades.
• Plug‑and‑play network planning: The linear‑programming model can be integrated with existing capacity‑planning tools (e.g., NetBox, OpenDC) to evaluate “what‑if” scenarios before hardware is provisioned.
• Fault‑tolerant deployments: The routing scheme’s ability to gracefully handle optical‑switch failures means higher uptime and less manual re‑configuration during maintenance windows.
• Open‑source inspiration: The approach can be adapted to other accelerator ecosystems (e.g., NVIDIA DGX, AMD Instinct) where the underlying interconnect is configurable (e.g., InfiniBand, Ethernet fabrics).

제한 사항 및 향후 작업

• 시뮬레이션 전용 검증: 논문은 패킷‑레벨 시뮬레이터에서 이득을 검증했으며, 실제 실리콘 측정이 지연 효과와 하드웨어‑특유의 오버헤드를 확인하기 위해 필요합니다.
• 고정 트래픽 모델: 균일 무작위와 전부‑전부(all‑to‑all)가 대표적이지만, 매우 편향되거나 버스트성 트래픽 패턴(예: 파라미터‑서버 설정)을 가진 워크로드는 탐색되지 않았습니다.
• 가상 채널 예산: 라우팅 스킴은 적당한 수의 가상 채널을 가정합니다; 더 많은 채널을 지원하는 미래 하드웨어는 더욱 풍부한 토폴로지를 가능하게 할 수 있습니다.
• 이기종 노드로의 확장: 현재 합성은 모든 노드를 동일한 가속기로 취급합니다; 혼합 정밀도 또는 CPU‑GPU 하이브리드를 다루는 것은 아직 해결되지 않은 과제입니다.

전반적으로 “Throughput‑Optimized Networks at Scale”는 엔지니어가 데이터센터 패브릭을 재설계하고 차세대 AI 학습 성능을 열어줄 구체적이고 수학적으로 기반한 경로를 제공합니다.

저자

• Conor James Green
• Mithuna Thottethodi

논문 정보

• arXiv ID: 2605.27963v1
• Categories: cs.NI, cs.DC
• Published: 2026년 5월 27일
• PDF: PDF 다운로드