[논문] FMplex: 확장 가능한 파운데이션 모델 서비스를 위한 모델 가상화
개요
Foundation 모델(FM)은 언어, 비전, 시계열, 멀티모달 애플리케이션 전반에 걸쳐 하위 작업의 백본으로 점점 더 많이 사용되고 있습니다. 그러나 기존 모델 서빙 시스템은 각 맞춤형 작업을 독립적인 모델 인스턴스로 배포하여 무거운 백본을 중복 복제하고 가속기 메모리를 낭비하며 배치와 로딩 비용을 상쇄할 기회를 놓칩니다. 본 논문은 FM 백본을 배포 공유를 위한 가상화 기판으로 취급하는 서빙 시스템 FMplex를 제시합니다. FMplex는 각 작업에 **가상 Foundation 모델(vFM)**을 제공하는데, 이는 공유 물리 FM을 기반으로 하는 논리적으로 사적인 FM 인스턴스입니다. 이 추상화는 작업별 확장, 독립적인 수명 주기, 작업 수준 격리를 유지하면서도 맞춤형 작업들이 동일한 백본을 공유하도록 합니다. 또한, 우리는 공동 배치와 작업 간·작업 내 배치를 결합한 가중 작업 수준 공유를 수행하는 배치 인식 공정 큐잉 스케줄러를 제안합니다. 우리는 작업 구성, 공유 인식 배포, 런타임 실행을 포괄하는 FMplex 기반 서빙 스택을 구현했습니다. 7개의 FM 백본(16가지 변형)과 92개의 하위 작업을 대상으로 실험한 결과, FMplex는 공간 파티셔닝 대비 최대 80%까지, 최선 노력 동시 배치 대비 33.3%까지 지연 시간을 감소시키며, 클러스터 규모에서 최대 6배 더 많은 작업을 호스팅할 수 있음을 확인했습니다.
주요 기여
본 논문은 다음 분야의 연구를 다룹니다:
- cs.DC
- cs.AI
- cs.LG
- cs.OS
방법론
자세한 방법론은 전체 논문을 참고하시기 바랍니다.
실용적 시사점
본 연구는 cs.DC 분야의 발전에 기여합니다.
저자
- Hetvi Shastri
- Pragya Sharma
- Walid A. Hanafy
- David Irwin
- Mani Srivastava
- Prashant Shenoy
논문 정보
- arXiv ID: 2606.09643v1
- Categories: cs.DC, cs.AI, cs.LG, cs.OS
- Published: 2026년 6월 8일
- PDF: PDF 다운로드