[Paper] 수천 개의 GPU를 사용한 확장 가능한 Spiking Neural Networks 구축

Source: arXiv - 2512.09502v1

Overview

이 논문은 현대 GPU 클러스터에서 수천 개의 GPU까지 확장 가능한 대규모 스파이킹 신경망(SNN) 시뮬레이션을 구축하고 실행하는 새로운 방법을 제시한다. 네트워크 구성 단계를 재설계하고 MPI 기반 통신을 활용함으로써, 저자들은 차세대 엑사스케일 머신에 필요한 성능으로 피질 규모 모델(수십억 시냅스)을 시뮬레이션하는 것을 가능하게 한다.

Key Contributions

• Scalable construction pipeline – 각 MPI 랭크가 연결 그래프의 자신의 슬라이스를 로컬에서 조립하도록 하는 분산 알고리즘으로, 비용이 많이 드는 전역 조립 단계를 피한다.
• GPU‑friendly data layout – 압축 희소 행(CSR), 스파이크 버퍼 등 메모리 구조를 NVIDIA GPU에서 연속 접근을 최대화하도록 조직한다.
• Hybrid communication strategies – 포인트‑투‑포인트(쌍별)와 집합적(all‑to‑all) 스파이크 교환 메커니즘을 모두 보여주며, 각각이 언제 유리한지 설명한다.
• Performance benchmarks on real cortical models – 두 개의 벤치마크 네트워크(균형 랜덤 네트워크와 층화 피질 마이크로서킷)에서 2 000 GPU까지 거의 선형적인 약한 스케일링을 달성한다.
• Open‑source reference implementation – 코드는 NEST GPU 시뮬레이터의 일부로 공개되어 재현성과 커뮤니티 확장이 가능하도록 한다.

Methodology

1. Partitioning the network – 전체 SNN을 local 서브네트워크로 나누며, 각 서브네트워크는 하나의 MPI 프로세스(즉, 하나의 GPU)와 대응한다. 각 프로세스는 랜덤 시드와 전역 연결 규칙(예: 연결 확률, 거리 의존 프로파일)의 설명을 받는다.
2. Local construction – 시드를 이용해 각 랭크가 독립적으로 전·후 시냅스 파트너 리스트를 생성한다. 알고리즘은 GPU 메모리에 자연스럽게 매핑되는 압축 희소 행(CSR) 형식으로 연결을 저장한다.
3. Preparation for spike exchange – 원격 대상 랭크마다 spike‑send buffer를 할당한다. 저자들은 어떤 출력 스파이크를 어떤 목적지에 패킹해야 하는지를 알려주는 라우팅 테이블을 사전에 계산한다.
4. Communication layer – 두 가지 MPI 기반 접근 방식을 평가한다:
   • Point‑to‑point: 각 랭크가 실제로 통신이 필요한 랭크에만 논블로킹 send/receive를 수행한다(희소 통신).
   • Collective: 네트워크가 충분히 조밀해 대부분의 랭크가 매 타임스텝마다 스파이크를 교환해야 할 경우 MPI_Alltoallv를 사용한다.
5. Simulation loop – 구성 단계가 끝난 후, 일반적인 GPU 커널이 뉴런 상태를 업데이트하고 스파이크를 생성하며, 사전 계산된 버퍼에 패킹하고 MPI 교환을 트리거한다. 모든 수신 스파이크가 풀리면 다음 타임스텝이 시작된다.

Results & Findings

• 구성 단계는 완전히 병렬적으로 수행되므로 거의 완벽하게 스케일한다; GPU를 추가해도 벽시계 시간은 증가하지 않는다.
• 피질 모델에 일반적인 희소 연결 네트워크에서는 포인트‑투‑포인트 방식이 집합적 방식보다 지연 시간과 대역폭 사용 모두에서 우수하다.
• 전체 시뮬레이션은 가장 큰 테스트 구성에서도 80 % 이상의 병렬 효율을 유지하여, 통신 오버헤드가 계산 비용을 지배하지 않음을 확인한다.

Practical Implications

• Large‑scale brain modeling – 연구자들은 이제 기존 GPU 클러스터에서 현실적인 시냅스 수를 가진 피질 컬럼이나 전체 뇌 조각을 시뮬레이션할 수 있어, 인사이트를 얻는 데 걸리는 시간이 주에서 일로 단축된다.
• Neuroscience‑in‑the‑loop AI – 대규모 SNN을 효율적으로 실행할 수 있게 되면서, 딥러닝과 생물학적으로 타당한 스파이킹 동역학을 결합한 하이브리드 AI 시스템의 문이 열린다.
• Exascale readiness – 구축 및 통신 패턴이 NVLink, 고속 인터커넥트 등 차세대 엑사스케일 아키텍처에 매핑되도록 설계되어, 국가 연구소와 클라우드 제공업체에서 미래에 대비한 코드를 제공한다.
• Toolchain integration – 구현이 널리 사용되는 NEST 시뮬레이터 위에 구축되어 있어, 개발자는 저수준 GPU 플러밍을 다시 작성하지 않고도 사용자 정의 뉴런 모델, 가소성 규칙, 센서 인터페이스 등을 손쉽게 연결할 수 있다.
• Performance‑aware design – 논문의 벤치마크 방법론은 불규칙 워크로드에 대해 포인트‑투‑포인트와 집합적 통신을 평가해야 하는 다른 HPC 개발자들에게 템플릿을 제공한다.

Limitations & Future Work

• Assumption of static connectivity – 현재 파이프라인은 네트워크를 한 번만 구축한다; 구조적 가소성 같은 동적 재배선은 재구성 또는 증분 업데이트가 필요하지만, 이는 다루지 않는다.
• GPU memory bound – 매우 조밀한 네트워크는 CSR 압축을 사용하더라도 GPU당 메모리를 초과할 수 있다; 저자들은 차후에 외부 메모리 기법을 제안한다.
• Hardware specificity – 벤치마크는 NVIDIA GPU와 InfiniBand에 초점을 맞추었으며, AMD GPU나 Slingshot 같은 새로운 인터커넥트에서의 성능은 아직 검증되지 않았다.
• Scalability beyond 2 000 GPUs – 알고리즘은 이론적으로 엑사스케일에 준비돼 있지만, 2 000 GPU를 초과하는 실험(또는 실제 엑사스케일 시스템)에서는 아직 테스트되지 않았다.

Authors

• Bruno Golosio
• Gianmarco Tiddia
• José Villamar
• Luca Pontisso
• Luca Sergi
• Francesco Simula
• Pooja Babu
• Elena Pastorelli
• Abigail Morrison
• Markus Diesmann
• Alessandro Lonardo
• Pier Stanislao Paolucci
• Johanna Senk

Paper Information

• arXiv ID: 2512.09502v1
• Categories: cs.DC, cs.NE, physics.comp-ph, q-bio.NC
• Published: December 10, 2025
• PDF: Download PDF