비볼록 최적화를 위한 균형 잡힌 적응형 학습률

Source: Dev.to

개요

간단한 조정만으로 딥러닝 모델을 더 빠르게 학습시킬 수 있습니다: ESGD.

많은 네트워크가 평탄한 구간이나 안장점에 갇혀 학습이 느려지고, 일반적인 학습률로는 이를 해결할 수 없습니다. 더 똑똑한 방법은 모델의 각 부분마다 적응형 학습률을 적용하는 것으로, 느린 부분은 가속하고 빠른 부분은 진정시킵니다.

기존 기법들은 문제에 상승과 하강 방향이 모두 존재할 때 부정적으로 작용해, 도움보다 오히려 학습을 늦출 수 있습니다. 표면이 어떻게 휘어지는지를 살펴보면 더 좋은 힌트를 얻을 수 있으며, 균형화(equilibration) 라는 접근법은 모델 전체에 걸쳐 이러한 휘어짐을 균형 있게 맞춥니다.

이를 바탕으로 ESGD라는 새로운 방법이 등장했으며, 보다 안정적으로 단계 크기를 조정합니다. 실제로 ESGD는 RMSProp과 같은 인기 도구만큼 혹은 그보다 빠르게 학습하며, 거의 항상 일반적인 확률적 경사 하강법보다 우수합니다.

학습 속도를 높이고 학습률 조정에 드는 수고를 줄이고 싶다면, 시도해볼 만한 간단한 변경입니다—전환 후 더 빠르고 안정적인 학습을 경험한 사례가 많으며, 여러분도 그럴 수 있습니다.

Read the comprehensive review:
Equilibrated adaptive learning rates for non-convex optimization