[논문] 테라스탈: 이종 가속기에서 실시간 다중 DNN 워크로드를 위한 레이어 변형 기반 스케줄링

출처: arXiv - 2606.06818v1

개요

이기종 DNN 가속기는 각 레이어를 선호하는 가속기에 매핑하여 지연 시간을 줄임으로써 소프트 실시간 다중 DNN 실행을 개선한다. 그러나 워크로드가 편향된 경우, 가속기 간 레이어 지연 시간 차이가 크게 발생해 스케줄링 유연성이 제한되고 마감 시간 초과가 증가한다. 이러한 문제를 해결하기 위해 우리는 레이어 변형(layer variants)을 도입한다. 이는 비선호 가속기에서도 지연 시간 격차를 줄이는 맞춤형 레이어 구현이다. 이후 우리는 이기종 DNN 가속기에서 레이어 변형 설계와 스케줄링을 위한 소프트 실시간 프레임워크인 Terastal을 제시한다. Terastal은 오프라인 이기종 인식 가상 예산 할당과 레이어 변형 설계, 그리고 온라인 스케줄링을 결합하여 시간 및 정확도 제약 하에서 가속기 매핑과 변형 선택을 공동 최적화한다. 실험 결과, Terastal은 모델당 마감 시간 초과율을 FCFS, EDF, DREAM과 비교해 각각 40.58%, 30.53%, 36.27% 감소시키면서 변형을 적용한 모델들의 평균 정규화 정확도 손실은 단 **2.24%**에 불과했다.

핵심 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.DC
• cs.AR
• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 시사점

본 연구는 cs.DC 분야의 발전에 기여한다.

저자

• Sing-Yao Wu
• Fengshuo Song
• Eli Bozorgzadeh

논문 정보

• arXiv ID: 2606.06818v1
• 분류: cs.DC, cs.AR, cs.LG
• 발표일: 2026년 6월 5일
• PDF: PDF 다운로드