[Paper] 무선 분산 학습을 Hybrid Split 및 Federated Learning 최적화를 통해 가속화

Source: arXiv

Abstract

연합 학습(Federated Learning, FL)과 스플릿 학습(Split Learning, SL)은 무선 네트워크에서 효과적인 분산 학습 패러다임으로, 원시 데이터를 공유하지 않고 모바일 디바이스 간 협업 모델 훈련을 가능하게 합니다. FL은 낮은 지연 시간의 병렬 학습을 지원하지만, 정확도가 낮은 모델에 수렴할 수 있습니다. 반면 SL은 순차적 학습을 통해 높은 정확도를 달성하지만 지연 시간이 증가합니다. 두 접근법의 장점을 모두 활용하기 위해 하이브리드 스플릿 및 연합 학습(Hybrid Split and Federated Learning, HSFL)은 일부 디바이스는 FL 모드로, 다른 디바이스는 SL 모드로 동작하도록 허용합니다. 본 논문은 HSFL을 가속화하기 위해 다음 세 가지 핵심 질문에 답하고자 합니다:

1. 학습 모드 선택이 전체 학습 성능에 어떤 영향을 미치는가?
2. 학습 모드와 배치 크기 간의 상호작용은 어떻게 되는가?
3. 이러한 하이퍼파라미터를 통신 및 계산 자원과 함께 공동 최적화하여 전체 학습 지연을 어떻게 감소시킬 수 있는가?

우선 수렴성을 분석하여 학습 모드와 배치 크기 사이의 상호작용을 밝혀냅니다. 이후 지연 최소화 문제를 수식화하고, 두 단계 솔루션을 제안합니다: 완화된 문제에 대한 블록 좌표 하강법을 이용해 지역 최적 해를 얻고, 이어서 정수 배치 크기를 복원하기 위한 라운딩 알고리즘을 적용해 거의 최적에 가까운 성능을 달성합니다. 실험 결과, 제안 방법이 기존 방법에 비해 목표 정확도에 도달하는 수렴 속도를 크게 가속화함을 보여줍니다.

Subjects

• Machine Learning (cs.LG)
• Distributed, Parallel, and Cluster Computing (cs.DC)

Citation

arXiv:2511.19851

DOI

https://doi.org/10.48550/arXiv.2511.19851

Submission History

• v1, Tue, 25 Nov 2025 02:29:22 UTC (1,487 KB)