[논문] 머신러닝에서의 2차 경로 커널 보간 공식

출처: arXiv - 2606.07495v1

개요

학습 데이터가 신경망 예측에 어떤 영향을 미치는지를 이해하는 것은 현대 학습 이론의 핵심 문제입니다. 2020년 Pedro Domingos는 결정론적 경사 하강법으로 학습된 모든 모델에 적용 가능한 보간 공식(interpolation formula)을 제안했습니다. 이 공식은 테스트 데이터와 학습 데이터에서 모델의 그래디언트를 정렬하는 데이터 의존 커널을 최적화 경로를 따라 적분함으로써 모델의 예측을 표현합니다. 이러한 1차 특성화는 배치 기반 확률적 최적화로 학습된 모델에도 여전히 유효합니다. 본 논문에서는 이러한 보간 공식의 2차 형태를 개발합니다. 우리는 주요 경로-커널 보간이 곡률 가중 보간 항에 의해 보완된다는 것을 보입니다. 확률적 경사 하강법(SGD)의 경우, 추가적인 샘플링 유도 성분이 나타나며, 이는 예측의 곡률과 미니배치 그래디언트 노이즈의 공분산을 결합합니다. 또한, 모멘텀을 포함한 확률적 경사 하강법에 대한 표현을 확장했으며, 이 경우 보간 구조는 유지되지만 가중치가 메모리와 관련된 요인에 의해 수정됩니다. 더 나아가, 최종 예측에 대한 집중(concentration) 추정치를 수립하여 기대되는 2차 표현 주변의 변동 규모를 규명했습니다. 이 결과들은 신경망 예측에 대한 경로-커널 해석을 정교화하는 데 기여합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다.

• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

이 연구는 cs.LG 분야의 발전에 기여합니다.

저자

• Jin Guo
• Roy Y. He
• Jean-Michel Morel

논문 정보

• arXiv ID: 2606.07495v1
• 분류: cs.LG
• 발표일: 2026년 6월 5일
• PDF: PDF 다운로드