왜 12년 된 예측 논문이 시간의 시험을 견뎌왔는가
Source: Amazon Science
예측 평가
머신러닝 모델—특히 지도학습 환경—을 사용할 때는 검증이 간단합니다: 알려진 레이블에 대한 모델의 예측 정확도를 측정하면 되기 때문입니다.
하지만 예측은 미래 사건에 대한 경고를 발행하는 경우가 많아 미래에 대한 경고를 내는 알고리즘을 어떻게 평가할 것인가? 라는 질문을 제기합니다.
단순히 각 경고를 개별적으로 점수를 매기는 접근법(예: “당 A가 득표율을 상승시킬 것이다”)도 생각해볼 수 있습니다. 그러나 실제 결과는 그렇게 깔끔하지 않으며, 예측된 당 중 일부는 실제로 급증하고 다른 당은 그렇지 않을 수 있습니다.
경고 시퀀스와 사건 시퀀스 매칭
지속적으로 강조되는 핵심 통찰은 각 경고를 개별적으로 다루는 대신, 전체 시간 순서상의 경고 시퀀스를 실제 사건 시퀀스와 비교하여 평가하는 것입니다. 이는 이분 매칭(bipartite matching) 문제로 공식화될 수 있습니다:
- 한쪽에는 경고 집합 ((w_1, w_2, \dots, w_n)), 다른 쪽에는 관측된 사건 집합 ((e_1, e_2, \dots, e_n))을 놓은 이분 그래프를 구성합니다.
- 각 가능한 경고‑사건 쌍에 대해 경고가 사건을 얼마나 잘 설명하는지를 나타내는 가중치를 부여합니다.
- maximum‑weight matching을 찾아 전체 가중치를 최대화하도록 경고와 사건을 짝지습니다.
시간 순서를 보존하려면 매칭이 non‑crossing이어야 합니다(즉, 경고 (w_i)가 (w_j)보다 먼저 발생했다면, 매칭된 사건도 (w_j)에 매칭된 사건보다 먼저 발생해야 함). 이렇게 하면 사건을 경고에 일관되게 귀속시킬 수 있습니다.
Figure (adapted from “Beating the news” with EMBERS: Forecasting civil unrest using open‑source indicators)
경고 ((w_1!-!w_7))와 사건 ((e_1!-!e_7))을 매칭하는 세 가지 접근법:
- Weighted matching
- Maximum‑weight bipartite matching
- Non‑crossing maximum‑weight bipartite matching
다중 알람 발행 및 융합
또 다른 지속적인 기여는 서로 보완적인 알고리즘에서 다중 알람을 발행하는 관행입니다. 단순히 사용자에게 알람을 남발하면 역효과가 나므로 융합(fusion) 방법론이 필요합니다.
융합 접근법은 간단한 베이즈 추론을 사용합니다:
- 각 알고리즘의 신뢰도와 오경보에 따른 비용에 대한 Prior belief.
- 각 알고리즘의 예측을 기반으로 관측 데이터가 나타날 Likelihood.
- 베이즈 정리를 통한 Posterior update로 시간에 따라 각 알고리즘에 대한 신뢰도를 조정.
이러한 믿음을 지속적으로 업데이트함으로써 시스템은 원칙에 입각한 방식으로 알람을 결합하고, 잡음을 줄이면서도 다양한 모델이 제공하는 보완 정보를 유지할 수 있습니다.