머신러닝 “Advent Calendar” 보너스 2: Excel에서 Gradient Descent 변형
Source: Towards Data Science
Gradient Descent 변형
Gradient Descent, Momentum, RMSProp, 그리고 Adam은 모두 동일한 최소값을 목표로 합니다. 이들은 목적지를 바꾸는 것이 아니라 경로만 바꿉니다. 각 방법은 이전 방법의 한계를 보완하는 메커니즘을 추가하여 움직임을 더 빠르고, 더 안정적이며, 더 적응적으로 만듭니다. 목표는 동일하게 유지됩니다. The update beco…