[논문] PCCL: 프로세스 그룹 인식형 확장·범용 집합 알고리즘 합성기

출처: arXiv - 2606.07019v1

개요

대규모 생성 모델의 방대한 규모 때문에 분산 머신러닝의 중요성이 점점 커지고 있습니다. 모델 파라미터와 데이터가 다수의 연산 장치에 분산되어 있어, 활성화와 파라미터 업데이트를 동기화하기 위해 빈번한 집합 통신이 필요합니다. 이러한 집합 통신이 주요 병목 현상이 되었습니다. 집합 알고리즘의 성능은 물리적 네트워크 토폴로지에 의존하지만, 집합 통신 라이브러리의 기본 알고리즘은 대부분 토폴로지를 고려하지 않습니다. 집합 알고리즘 합성기는 토폴로지를 인식한 집합 알고리즘을 자동으로 생성함으로써 이 비효율성을 해결합니다. 하지만 기존 연구들은 집합 통신이 일반적으로 프로세스 그룹이라 불리는 일부 장치들 사이에서만 발생한다는 점을 크게 간과했습니다. 또한, 대부분의 기존 합성기는 생성할 수 있는 목표 집합 패턴의 범위가 제한적입니다. 우리는 토폴로지를 인식한 집합 알고리즘을 합성하기 위한 확장 가능하고 일반적인 프레임워크인 PCCL을 제안합니다. PCCL은 프로세스 그룹을 인식하며, 일부 장치만 집합 연산에 참여하는 경우에도 거의 최적에 가까운 집합 알고리즘을 생성할 수 있습니다. PCCL은 512‑NPU All-to-All 합성을 11.68분 만에 수행하는 등 임의의 집합 패턴을 합성합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.DC

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

이 연구는 cs.DC 분야의 발전에 기여합니다.

저자

• William Won
• Kartik Lakhotia
• Madhu Kumar
• Sudarshan Srinivasan
• Tushar Krishna

논문 정보

• arXiv ID: 2606.07019v1
• Categories: cs.DC
• Published: 2026년 6월 5일
• PDF: PDF 다운로드