[Paper] 에지에서의 모듈형 파운데이션 모델 추론: 네트워크 인식 마이크로서비스 최적화

Source: arXiv - 2601.19563v1

Overview

Foundation models (FMs)은 전례 없는 멀티모달 및 멀티태스크 인텔리전스를 제공하지만, 클라우드 중심 배포는 실시간 응답성을 저해하고 사용자 프라이버시를 위협합니다. 한편, 엄격한 자원 제한과 불확실한 네트워크 동적 상황 하에서는 에지에서의 단일 실행이 실현 불가능합니다. 이러한 격차를 해소하기 위해, 우리는 무거운 코어 서비스와 민첩한 라이트 서비스 간의 고유한 기능 비대칭성을 활용하는 마이크로서비스 기반 FM 추론 프레임워크를 제안합니다. 우리의 2계층 배포 전략은 자원 경쟁 상황에서도 견고한 Quality of Service (QoS)를 보장합니다.

구체적으로, 코어 서비스는 희소성 제약을 포함한 장기 네트워크 인식 정수 프로그램을 통해 정적으로 배치되어 장애 허용 백본을 형성합니다. 라이트 서비스는 효과적인 용량 이론과 Lyapunov 최적화를 통합한 저복잡도 온라인 컨트롤러에 의해 동적으로 오케스트레이션되며, 실시간 워크로드 변동에 대한 확률적 지연 보장을 제공합니다. 시뮬레이션 결과, 우리 프레임워크는 중간 수준의 배포 비용으로 평균 84 % 이상의 정시 작업 완료율을 달성하고, 시스템 부하가 증가함에 따라 강인성을 유지함을 보여줍니다.

Key Contributions

• cs.DC

Methodology

자세한 방법론은 전체 논문을 참고하십시오.

Practical Implications

이 연구는 cs.DC 분야의 발전에 기여합니다.

Authors

• Juan Zhu
• Zixin Wang
• Shenghui Song
• Jun Zhang
• Khaled Ben Letaief

Paper Information

• arXiv ID: 2601.19563v1
• Categories: cs.DC
• Published: January 27, 2026
• PDF: Download PDF