결정 트리 – 중첩된 의사결정 규칙의 터무니없는 힘

Source: Hacker News

Decision Trees

중첩된 결정 규칙의 터무니없는 힘.
작성자: Jared Wilber & Lucía Santamaría

Let’s Build a Decision Tree

우리가 새로운 땅을 가진 농부라고 가정해 보자. 나무 줄기의 직경과 높이만을 가지고 그 나무가 사과, 체리, 혹은 참나무인지 판단해야 한다. 이를 위해 결정 트리를 사용할 것이다.

Start Splitting

직경 ≥ 0.45인 거의 모든 나무는 참나무다! 따라서 그 영역에 있는 다른 나무들도 대부분 참나무일 것이라고 가정할 수 있다.

이 첫 번째 결정 노드는 루트 노드 역할을 한다. 이 직경에 수직선을 그어 위에 있는 모든 것을 참나무(첫 번째 리프 노드)로 분류하고, 왼쪽에 남은 데이터를 계속 분할한다.

Split Some More

우리는 가장 유리한 방식으로 땅을 나누려는 목표를 계속한다. 높이 ≤ 4.88이라는 새로운 결정 노드를 만들면 체리 나무가 모여 있는 좋은 구역이 생기므로 그곳에서 데이터를 분할한다.

결정 트리는 이에 따라 업데이트되어 체리용 새로운 리프 노드가 추가된다.

And Some More

두 번째 분할 후에는 사과 나무가 많이 있고 체리 나무가 약간 있는 영역이 남는다. 문제없다: 수직 구분선을 하나 더 그려 사과 나무를 좀 더 잘 구분한다.

다시 한 번, 결정 트리는 이에 맞게 업데이트된다.

And Yet Some More

남은 영역은 또 다른 수평 구분선만 필요하고, 이렇게 하면 작업이 끝난다! 우리는 최적의 중첩된 결정 집합을 얻었다.

그렇지만 여전히 몇몇 오분류된 점들이 포함된 영역이 있다. 더 작은 구역으로 계속 분할해야 할까?

Don’t Go Too Deep!

그렇게 하면 결과 영역이 점점 복잡해지고 트리가 지나치게 깊어질 것이다. 이런 결정 트리는 훈련 샘플의 잡음에 너무 많이 학습하고 일반화 가능한 규칙을 충분히 배우지 못한다.

이것이 익숙하게 들리는가? 바로 우리가 The Bias Variance Tradeoff 설명에서 다룬 잘 알려진 트레이드오프다! 여기서는 너무 깊게 갈 경우 데이터에 과적합되는 트리가 되므로 여기서 멈춘다.

우리는 끝났다! 이제 새 데이터 포인트의 높이와 직경 값을 새로 만든 결정 트리를 통과시키면 사과, 체리, 혹은 참나무 중 하나로 분류할 수 있다!