[논문] 이기종 옵티마이저를 활용한 서버리스 반분산 연합 학습

Source: arXiv - 2606.06687v1

개요

우리는 이기종 머신러닝(ML) 옵티마이저를 사용하는 분산 연합학습(FL)에서 클러스터 형성(클러스터 수와 구성)을 조사한다. 중앙집중식 FL에서 클러스터링은 확장성 및 자원 절감에 기여했지만, 완전 분산 환경에서의 가치와 발전 가능성은 아직 탐구되지 않았다. 네트워크 그래프 구조, 로컬 데이터 이기종성, 그리고 서로 다른 로컬 ML 모델 옵티마이저 간의 복잡한 결합 때문에 이러한 환경에서 클러스터 형성을 최적화하는 것은 어려운 과제이다. 이러한 문제를 해결하기 위해 우리는 영구적인 서버 인프라가 전혀 필요 없는 서버리스 반분산 FL(SSD‑FL) 방식을 제안한다. SSD‑FL에서는 가벼운 일회성 디바이스‑대‑디바이스(D2D) 초기화 단계에서 클러스터 형성이 이루어지고, 이후 실제 ML 모델 학습(합의 및 수렴 과정 포함)은 완전하게 서버리스로 진행된다. 기능적으로 SSD‑FL은 전역 라운드를 클러스터 내부와 클러스터 간 두 단계로 나누어, 디바이스별 ML 옵티마이저와 네트워크 그래프 기반 정규화를 통합한 새로운 “효과적 손실 함수(effective loss functions)”를 통해 전역 수렴과 합의를 보장한다. 이어서 SSD‑FL은 체거 부등식(Cheeger inequality)을 이용해 합의 격차를 활용한 반복적 클러스터링 알고리즘을 개발하고, 이를 우리가 도출한 수렴 및 합의 경계와 비교 평가한다. 이 경계는 디바이스 간 데이터와 옵티마이저 이기종성을 정량화하는 독특한 점수 메트릭을 포함한다. 마지막으로, 세 가지 범주의 분산 FL 방법론과의 실험적 비교를 통해 SSD‑FL이 다양한 네트워크 그래프, 데이터셋, 로컬 옵티마이저 환경에서 수렴 속도와 통신 효율성을 모두 향상시킴을 검증한다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다.

• cs.LG
• cs.DC
• cs.NI
• eess.SY

방법론

자세한 방법론은 전체 논문을 참고하시기 바란다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여한다.

저자

• Su Wang
• Mung Chiang
• H. Vincent Poor

논문 정보

• arXiv ID: 2606.06687v1
• 분류: cs.LG, cs.DC, cs.NI, eess.SY
• 발표일: 2026년 6월 4일
• PDF: PDF 다운로드