왜 트리 기반 모델이 여전히 표 형식 데이터에서 딥러닝보다 성능이 뛰어난가?

Source: Dev.to

Introduction

딥 뉴럴 네트워크는 이미지와 텍스트 처리에 혁신을 일으켰지만, 스프레드시트 형태의 표형 데이터에 대해서는 고전적인 트리 기반 방법이 여전히 최고의 성능을 보이는 경우가 많습니다.

Empirical Findings

많은 데이터셋을 포괄하는 대규모 벤치마크에서 XGBoost와 Random Forests와 같은 트리 기반 모델이 중간 규모 표(≈10 k 행)에서 딥러닝 모델보다 일관되게 우수한 성능을 보였습니다. 이는 신경망의 하이퍼파라미터를 광범위하게 튜닝한 후에도 마찬가지였습니다. 이 패턴은 다양한 설정과 검증에서도 지속되었습니다.

Why Trees Perform Better

• 불필요한 특성에 대한 강인성 – 트리는 성능에 영향을 주지 않으면서 쓸모없는 열을 무시할 수 있습니다.
• 데이터 형태 보존 – 트리 알고리즘은 원본 표 구조를 그대로 사용하므로 광범위한 전처리가 필요하지 않습니다.
• 불규칙한 패턴 포착 능력 – 의사결정 트리는 표형 데이터에서 표준 피드포워드 네트워크가 학습하기 어려운 이질적인 상호작용과 비선형성을 모델링할 수 있습니다.

Implications

이 결과는 딥러닝이 보편적인 해결책이 아니라는 점을 강조합니다; 표형 문제에 대해서는 여전히 특화된 접근법이 필요합니다. 저자들은 재현성과 추가 연구를 위해 전체 실험 스위트, 원시 결과 및 구성 세부 정보를 공개했습니다.

Takeaway

데이터셋이 행과 열로 구성되어 있다면, 딥 뉴럴 네트워크가 최적이라고 자동으로 가정하지 마세요—트리 기반 모델이 여전히 더 현명한 선택일 수 있습니다.

References

• Why do tree‑based models still outperform deep learning on tabular data? (Paperium)