[논문] 좋은 보간기는 얼마나 흔한가?
Source: arXiv - 2606.06469v1
Overview
$S$를 단위 노름을 갖는 선형 분류기 $θ\in \mathbb{R}^d$들의 집합이라 하자. 이들은 사전에 고정된 (음수일 수도 있는) 마진 $κ$를 사용해 레이블이 지정된 데이터셋 $(X_i,y_i)_{i=1}^n$, $X_i \in \mathbb{R}^d$, $y_i \in {-1,+1}$의 모든 점을 올바르게 분류한다. $(X,y)$ 쌍에 대한 두 가지 자연스러운 데이터 생성 분포—가우시안 혼합 모델과 가우시안 특징을 갖는 로지스틱 모델—와 $n/d \to α$인 비례 구간에서 $α$가 충분히 작을 때, 우리는 $S$에서 균일하게 무작위로 선택된 점 $θ$가 주어진 일반화 오류를 달성하는 사건에 대해 데이터 선택에 대해 높은 확률로 대편향 원리를 확립한다. 관련된 대편향 속도 함수는 결정적이며, $d$에 대한 지수 규모에서 원하는 성능을 갖는 보간 분류기들의 비율을 설명한다. 그 결과, 다음과 같은 집중 현상이 나타난다: 지수적으로 작은 비율을 제외한 모든 보간 분류기들은 이 속도 함수의 유일한 최대값이 주는 거의 동일한 일반화 성능을 가진다. 우리는 이 최대값을 경사 하강법에 의한 경험적 위험 최소화와 자연스러운 선형 프로그램의 성능과 수치적으로 비교하고, 두 방법 모두 $S$ 내의 점을 찾으며, $α$가 작은 과다 매개변수화 구간에서 이러한 효율적인 절차들이 대부분의 보간기들을 능가한다는 것을 추론한다. 이는 해당 설정에서 비트리비얼한 선량한 과적합을 시사한다.
Key Contributions
이 논문은 다음 분야의 연구를 제시한다:
- math.ST
- cs.LG
- math.PR
Methodology
자세한 방법론은 전체 논문을 참고하십시오.
Practical Implications
이 연구는 math.ST 분야의 발전에 기여한다.
Authors
- August Y. Chen
- Ahmed El Alaoui
Paper Information
- arXiv ID: 2606.06469v1
- Categories: math.ST, cs.LG, math.PR
- Published: 2026년 6월 4일
- PDF: PDF 다운로드