[논문] 점진적 크기 기반 프루닝으로 한 번의 학습 사이클에서 희소 서브네트워크 찾기
개요
신경망 프루닝은 덜 중요한 파라미터를 제거하여 모델 크기를 줄이면서 예측 성능을 유지하려는 방법이다. 복권 티켓 가설(LTH)은 적절한 초기화에서 훈련된 희소 서브네트워크가 밀집 네트워크와 동등한 성능을 낼 수 있음을 보여주지만, 그 반복적 프루닝 절차는 여러 번의 완전한 훈련 사이클을 필요로 한다. 본 연구는 단일 사이클 대안으로 점진적 크기 기반 프루닝을 평가한다. 이 방법은 선형 스케줄을 사용해 훈련 중에 점차적으로 희소도를 높이며, 활성 가중치 크기에 기반해 프루닝 마스크를 업데이트한다. 우리는 ResNet, VGG 스타일, LeNet 아키텍처를 대상으로 CIFAR-10 및 MNIST에서 체계적인 실험을 수행했으며, LTH, SNIP, GraSP 등을 포함한 대표적인 반복 및 초기화 기반 프루닝 베이스라인과 비교하였다. CIFAR-10에서 이 방법은 72.9% 희소도에서 ResNet‑18에 대해 95.12% 정확도를 달성했으며, 이는 LTH에서 보고된 90.5%와 비교된다. 극한 희소도에서는 VGG 유사 아키텍처에서 97% 희소도에 93.13% 정확도를, VGG‑19에서는 97.97% 희소도에 93.44% 정확도를 기록했으며, 각각 SNIP의 약 92.0%와 GraSP의 98% 희소도에서 92.19%와 비교된다. ResNet‑18에 대한 희소도‑정확도 분석은 70~85% 희소도 구간에서 정확도가 밀집 베이스라인보다 0.1% 포인트 이내로 유지됨을 추가로 보여준다. 이러한 결과는 점진적 크기 기반 프루닝이 평가된 설정 하에서 신경망 희소화에 효과적인 단일 사이클 접근법임을 시사한다.
주요 기여
본 논문은 다음 분야의 연구를 제시한다:
- cs.CV
- cs.LG
방법론
자세한 방법론은 전체 논문을 참고하시기 바랍니다.
실용적 함의
이 연구는 cs.CV 분야의 발전에 기여한다.
저자
- Romana Qureshi
- Hafida Benhidour
- Said Kerrache
- Nahlah Aljeraisy
논문 정보
- arXiv ID: 2606.12278v1
- 분류: cs.CV, cs.LG
- 발표일: 2026년 6월 10일
- PDF: PDF 다운로드