[논문] NVSHMEM 해부: GPU 통신에서 대칭 메모리와 디바이스 주도 연산에 대한 시스템 수준 분석

Source: arXiv - 2606.05951v1

개요

NVSHMEM은 NVIDIA의 OpenSHMEM 기반 PGAS 통신 라이브러리로, GPU 클러스터에서 대칭 메모리를 통한 GPU 주도 일방향 통신을 가능하게 합니다. 채택이 점점 늘어나고 있지만, 설계와 동작에 대한 시스템 수준의 이해는 문서, 소스 코드, 그리고 실제 애플리케이션 경험에 흩어져 있습니다. 본 논문은 대칭 메모리, 일방향 연산, 그리고 디바이스 측 집합 연산에 초점을 맞추어 NVSHMEM의 프로그래밍 모델, 구현 방식, 성능 특성을 간결히 조사합니다. 또한 성능이 중요한 희소 딥러닝 워크로드에서 NVSHMEM을 활용한 사례로 DeepEP를 분석합니다. 우리의 분석 결과, NVSHMEM은 미세한 GPU 주도 통신을 가능하게 하는 디바이스 측 대칭 메모리 프로그래밍 모델을 최초로 제시했으며, 이는 하드웨어 성능 한계에 접근하는 데 중요한 역할을 함을 보여줍니다. 전반적으로 이 연구는 NVSHMEM을 시스템 구축 블록으로 정의하고, 설계상의 트레이드오프를 강조하며, GPU 통신 런타임을 개선할 수 있는 기회를 제시합니다.

주요 기여

본 논문은 다음 분야의 연구를 제시합니다.

• cs.DC

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 시사점

본 연구는 cs.DC 분야의 발전에 기여합니다.

저자

• Yijun Ma
• Siyuan Shen
• Tiancheng Chen
• Akhil Langer
• Jiri Kraus
• Benjamin Glick
• Craig Belusar
• Jeff Hammond
• Torsten Hoefler

논문 정보

• arXiv ID: 2606.05951v1
• 분류: cs.DC
• 발표일: 2026년 6월 4일
• PDF: Download PDF