SmartKNN 회귀 벤치마크 고차원 데이터셋

발행: 2시간 전 (2025년 12월 29일 오후 03:58 GMT+9)

3 min read

Source: Dev.to

개요

이 릴리스에서는 SmartKNN에 대한 초기 회귀 벤치마크를 제공하며, 대규모 차원 데이터셋을 대상으로 실제 프로덕션 제약 하에서 단일 예측 p95 지연 시간과 R²를 평가했습니다. 모든 벤치마크는 다음과 같습니다:

추가 벤치마크(고차원 데이터셋, 분류 작업, 혼합 특성 공간)는 곧 공개될 예정입니다.

데이터셋	OpenML ID	대략적인 행 수	특성 (D)	작업	출처
Buzzinsocialmedia_Twitter	4549	466,600	77	회귀	OpenML
Allstate_Claims_Severity	44045	150,654	124	회귀	OpenML
College Scorecard	46674	99,759	118	회귀	OpenML

모델	RMSE ↓	R² ↑	학습 시간 (s)	배치 (ms)	단일 중앙값 (ms)	단일 p95 (ms)
XGBoost	254.43	0.8274	22.21	0.005	0.228	0.280
LightGBM	214.79	0.8770	25.67	0.008	0.511	0.650
CatBoost	231.43	0.8572	39.53	0.000	0.809	1.021
SmartKNN (wt=0.0)	167.15	0.9255	214.39	0.060	0.383	0.561

모델	RMSE ↓	R² ↑	학습 시간 (s)	배치 (ms)	단일 중앙값 (ms)	단일 p95 (ms)
XGBoost	0.5355	0.5604	11.20	0.005	0.211	0.272
LightGBM	0.5356	0.5603	8.40	0.020	0.511	0.630
CatBoost	0.5408	0.5516	22.84	0.043	1.035	1.308
SmartKNN (wt=0.0)	0.6219	0.4071	51.51	0.062	0.305	0.366

모델	RMSE ↓	R² ↑	학습 시간 (s)	배치 (ms)	단일 중앙값 (ms)	단일 p95 (ms)
XGBoost	0.1855	0.6935	8.36	0.006	0.237	0.329
LightGBM	0.1864	0.6905	5.77	0.010	0.505	0.635
CatBoost	0.1946	0.6626	14.25	0.001	0.879	0.950
SmartKNN (wt=0.0)	0.2300	0.5290	27.31	0.054	0.248	0.286

SmartKNN은 CPU 환경에서 비모수·비선형 모델 중 경쟁력 있는 p95 단일 예측 지연 시간을 달성했으며, 특히 Buzzinsocialmedia_Twitter 데이터셋에서 지연 시간 면에서 트리 기반 베이스라인을 앞서면서 가장 높은 R²를 기록했습니다.
트리 기반 모델(XGBoost, LightGBM, CatBoost)은 일반적으로 정확도가 더 높고 평균 지연 시간이 낮지만, SmartKNN은 꼬리 지연 시간 차이를 크게 줄여 프로덕션 시스템에서 중요한 요소를 개선합니다.
모든 결과는 공개된 OpenML 데이터셋을 사용해 재현 가능합니다.

우리는 커뮤니티가 다음을 수행하기를 권장합니다:

성능 회귀가 발생하면 GitHub Issue를 열어 주세요. 질문, 아이디어, 개선 사항이 있으면 GitHub Discussion을 시작해 주세요. 새로운 벤치마크 결과도 이슈나 토론으로 게시할 수 있습니다.

리소스