[논문] 유한 정밀도에서 tanh 신경망 학습의 한계

출처: arXiv - 2606.11104v1

개요

우리는 유한 정밀도 연산과 $L^p$ 정확도 보장을 전제로 점 평가만으로 $\tanh$ 신경망을 학습하는 데 존재하는 한계를 조사한다. 이는 Berner, Grohs, Voigtländer (2023)의 연구를 기반으로 한다. 우리의 접근법은 반복적인 $\tanh$ 활성화를 이용해 매우 국소화된 범프 함수를 새롭게 구성하는 데 있다. 이 메커니즘을 활용하여, 유한 정밀도 환경에서는 $m$개의 샘플에 기반한 적응형 무작위 알고리즘이 $L^p$ 노름에서 Monte Carlo 속도 $O(m^{-1/p})$보다 높은 수렴 속도를 달성할 수 없으며, 이는 네트워크 파라미터와 구조의 크기에 대해 샘플 예산이 지수적으로 증가해야 함을 의미한다. 이 결과는 국소화된 범프 함수를 포함하는 클래스의 학습 가능성에 대해 유한 정밀도가 부과하는 근본적인 제한을 밝혀내며, 기존의 ReLU 네트워크에 대한 결과를 $\tanh$ 설정으로 확장한다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.LG
• stat.ML

방법론

자세한 방법론은 전체 논문을 참고하시기 바란다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여한다.

저자

• Philipp Grohs
• Matěj Trödler

논문 정보

• arXiv ID: 2606.11104v1
• 카테고리: cs.LG, stat.ML
• 발표일: 2026년 6월 9일
• PDF: PDF 다운로드