[Paper] SUPN: 얕은 범용 다항식 네트워크
딥 뉴럴 네트워크(DNN)와 콜모고로프-아놀드 네트워크(KAN)는 유연성과 표현력 때문에 함수 근사에 널리 사용되는 방법입니다. 최근 연구에서는 KAN이 전통적인 DNN에 비해 더 적은 파라미터로도 복잡한 함수를 효율적으로 모델링할 수 있음을 보여주었습니다. 특히 KAN은 각 레이어에서 다항식 기반 활성화 함수를 사용함으로써, 입력 차원과 출력 차원 사이의 비선형 관계를 보다 직접적으로 캡처합니다. 이러한 특성은 고차원 데이터나 비선형성이 강한 물리 시스템을 모델링할 때 큰 장점을 제공합니다. 또한, KAN은 학습 과정에서 파라미터 초기화와 최적화 전략에 대한 요구사항이 DNN보다 완화되는 경향이 있습니다. 이는 학습 안정성을 높이고, 과적합 위험을 감소시키는 데 기여합니다. 실험 결과에 따르면, 동일한 데이터셋에 대해 KAN은 DNN보다 빠른 수렴 속도와 더 낮은 테스트 오류를 기록했습니다. 요약하면, KAN은 함수 근사 문제에서 DNN을 보완하거나 대체할 수 있는 강력한 대안이며, 특히 파라미터 효율성과 학습 안정성이 중요한 응용 분야에서 큰 잠재력을 가지고 있습니다.