[Paper] 실시간 Edge AI를 위한 파운데이션 모델의 공동 파티셔닝 및 배치

Source: arXiv - 2512.01039v1

개요

이 논문은 엣지에서 AI‑기반 서비스를 구축하는 개발자들이 직면한 급박한 문제, 즉 대규모 기반 모델(예: 대형 언어 모델이나 비전 모델)을 컴퓨팅·네트워크 상황이 지속적으로 변하는 이기종·대역폭 제한 디바이스 군집에 어떻게 실행할 것인가에 대해 다룹니다. 모델의 레이어 파티셔닝을 배포 시점에 고정하는 대신, 저자들은 런타임‑인식 오케스트레이션 프레임워크를 제안합니다. 이 프레임워크는 각 레이어가 어디서 실행될지와 모델을 어떻게 분할할지를 동시에 결정하며, 지연, 활용도, 프라이버시 제약에 실시간으로 적응합니다.

주요 기여

• 동적 공동 파티션‑배치 공식화: 실시간 자원 변동에 반응하여 레이어 할당과 물리적 위치를 동시에 선택하는 제약 최적화 문제로 정의합니다.
• 모델‑인식 용량 프로파일링: 디바이스별 컴퓨팅, 메모리, 네트워크 대역폭, 프라이버시 관련 메트릭을 지속적으로 측정하는 경량 프로파일링 레이어를 도입합니다.
• 반응형 그래프 재파티셔닝 알고리즘: 조건이 변할 때 전체 재최적화를 피하고 모델 그래프를 빠르게, 거의 최적에 가깝게 재분할하는 휴리스틱을 제공합니다.
• 6G 멀티‑액세스 엣지 컴퓨팅(MEC) 프로토타입 구현: 컨테이너 런타임, SD‑WAN, 보안 엔클레이브와 현실적인 엣지 스택에 대한 엔드‑투‑엔드 통합을 시연합니다.
• 다양한 기반 모델(BERT‑large, ViT‑B/16, Whisper‑base) 실험 평가: 정적 파티셔닝 대비 3.2배 지연 감소와 45 % 대역폭 절감을 달성함을 보여줍니다.

방법론

1. 시스템 모델 – 엣지 환경을 방향성 그래프로 모델링합니다. 노드는 스마트폰, 엣지 서버, 6G 기지국 등 컴퓨팅 자원을, 엣지는 시간에 따라 변하는 지연·대역폭을 갖는 네트워크 링크를 나타냅니다.
2. 레이어별 비용 모델 – 각 모델 레이어에 컴퓨팅 요구량, 메모리 사용량, 출력 데이터 크기를 주석으로 달아 둡니다. 이 메트릭은 짧은 워밍업 실행 중 프로파일링 컴포넌트를 통해 획득합니다.
3. 최적화 목표 – 엔드‑투‑엔드 추론 지연을 최소화하면서 다음 제약을 만족시킵니다: (a) 노드별 자원 상한, (b) 네트워크 대역폭 상한, (c) 신뢰 구역을 벗어나면 안 되는 데이터에 대한 프라이버시 정책.
4. 솔버 아키텍처 – 문제는 NP‑hard이므로 두 단계 휴리스틱을 설계합니다.
   • 초기 배치는 “가장 제약이 큰 노드부터”라는 탐욕적 규칙을 사용합니다.
   • 연속 재파티셔닝은 변화 감지 모듈(예: 링크 지연이 20 % 상승)에서 트리거됩니다. 재파티셔너는 몇 개의 레이어만 교체하는 경량 그래프‑컷 알고리즘을 실행해 전체 솔루션의 안정성을 유지합니다.
5. 구현 스택 – Kubernetes 기반 엣지 오케스트레이션 위에 구축했으며, “ModelSlice” 객체를 위한 커스텀 CRD(Custom Resource Definitions)를 추가했습니다. 슬라이스 간 통신은 gRPC를 사용하고, 프라이버시‑민감 구간에서는 선택적 암호화를 지원합니다.

결과 및 인사이트

• 적응성: 모바일 디바이스의 CPU 부하가 급증(예: 백그라운드 앱)했을 때, 프레임워크는 가장 연산 집약적인 레이어를 인근 엣지 서버로 자동 마이그레이션하여 SLA 내 지연을 유지했습니다.
• 프라이버시 준수: 원시 비디오 프레임을 디바이스에 머물러야 하는 상황에서, 초기 컨볼루션 레이어는 로컬에 유지하고 추상화된 피처 맵만 오프로드함으로써 프라이버시 제약을 만족시키면서도 지연에 큰 영향을 주지 않았습니다.
• 오버헤드: 재파티셔닝 의사결정 루프는 평균 < 15 ms 내에 실행되며, 실시간 워크로드에 적합합니다.

실용적 함의

• 엣지 AI 개발자는 이제 대형 기반 모델을 과다 프로비저닝 없이 배포할 수 있습니다 – 프레임워크가 엣지 연속체 전체에 부하를 동적으로 균형 맞춰 고가의 온‑디바이스 가속기 필요성을 감소시킵니다.
• 서비스 운영자는 프라이버시 정책과 SLA 목표를 동시에 만족하는 통합 제어 평면을 확보하게 되어, 의료·금융 등 규제 산업에서 컴플라이언스가 간소화됩니다.
• 네트워크 운영자는 트래픽 피크 완화에 활용 가능: 무거운 레이어를 활용도가 낮은 엣지 노드로 이동시켜 백홀 사용량을 감소시키며, 이는 대역폭이 제한된 5G/6G 환경에서 특히 가치가 있습니다.
• 툴링 통합: 저자들은 기존 모델 서빙 스택(TensorRT, ONNX Runtime)과 연결되는 Python SDK를 공개했으며, 최소 코드 변경으로 기술 도입이 가능합니다.
• ‘모델‑as‑a‑service’ 마켓플레이스가 가능해져, 제공자는 슬라이스된 모델을 공개하고 각 소비자의 엣지 토폴로지에 자동 적응하도록 함으로써 새로운 비즈니스 모델을 열 수 있습니다.

제한점 및 향후 연구

• 수천 노드 규모 확장성: 현재 프로토타입은 최대 20개의 엣지 노드 클러스터에서 평가되었으며, 도시 규모 배포를 위해서는 휴리스틱 튜닝이 추가로 필요합니다.
• 모델 세분성: 레이어가 비교적 독립적인 경우에 최적이며, 높은 상호 의존성을 가진 구조(예: 긴밀히 결합된 어텐션 헤드)에서는 추가 동기화 오버헤드가 발생할 수 있습니다.
• 보안 가정: 전송 중 데이터 암호화는 지원하지만, 진정한 기밀 추론을 위한 다자간 안전 계산(MPC)이나 동형 암호화는 아직 포함되지 않았습니다.
• 향후 방향에는 모델 업데이트(예: 지속 학습)를 다루는 최적화 확장, 강화학습 기반 배치 정책 통합, 전체 오케스트레이션 스택을 오픈소스로 공개하여 커뮤니티 벤치마크를 촉진하는 것이 포함됩니다.

저자

• Aladin Djuhera
• Fernando Koch
• Alecio Binotto

논문 정보

• arXiv ID: 2512.01039v1
• Categories: cs.DC, cs.LG, cs.NI
• Published: November 30, 2025
• PDF: Download PDF