[논문] 넓은 2층 신경망의 불확실성 정량화: 제한 변동 과정의 법칙에 대하여
Source: arXiv - 2606.05982v1
개요
신경망 예측에서의 불확실성 정량화는 일반적인 응용 분야에서 주요 문제입니다. 우리의 접근법은 다중 네트워크를 학습해야 하는 딥 앙상블 방법이 예측의 몬테카를로 추정으로 볼 수 있는 것과 달리, PDE 정보를 이용해 점근적 분산에 대한 불확실성을 직접 평가함으로써 계산 비용을 감소시키는 것을 목표로 합니다. 따라서 우리는 약한 잡음(regime) 하에서 확률적 경사 하강법(SGD)으로 학습된 넓은 2계층 신경망의 평균장(limit) 주변에서 발생하는 무작위 변동을 기술하는 극한 과정의 법칙을 연구합니다. 최근의 경로 중심극한정리(trajectorial central limit theorem)를 기반으로, 이 극한은 선형 확률적 진화 방정식(linear stochastic evolution equation)의 약해(solution)으로 특징지어지며, 우리는 그 법칙을 명시적으로 규명합니다. 보다 정확히 말하면, 이는 가중 Sobolev 공간(weighted Sobolev space)의 이중공간(dual)에서 중심화된 가우시안 과정(centered Gaussian process)이며, 부드러운 함수에 대해 테스트함으로써 얻어지는 유한 차원 분포에 대한 폐쇄형 공분산 표현(closed covariance representation)을 도출합니다. 이 공분산은 평균장 궤적(mean‑field trajectory)에 의해 구동되는 비국소(source) 항을 갖는 역전달 방정식(backward transport equation)의 해를 통해 표현됩니다. 결과적으로, 고정 입력에서 활성화 함수(activation function)에 대해 테스트함으로써 해당 네트워크 출력 변동의 극한 분산을 구할 수 있습니다. 우리는 이 결과를 1차원 회귀 예시에서 수치적으로 보여줍니다.
주요 기여
이 논문은 다음 분야의 연구를 제시합니다.
- cs.NE
- math.AP
- math.PR
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
본 연구는 cs.NE 분야의 발전에 기여합니다.
저자
- Arnaud Descours
- Arnaud Guillin
- Geoffrey Lacour
- Manon Michel
- Boris Nectoux
- Paul Stos
논문 정보
- arXiv ID: 2606.05982v1
- 분류: cs.NE, math.AP, math.PR
- 발표일: 2026년 6월 4일
- PDF: PDF 다운로드