LSTM 이해하기 – 파트 4: LSTM이 무엇을 잊을지 결정하는 방법

Source: Dev.to

이전 기사에서는 LSTM의 첫 번째 부분을 완성하고 계산 결과를 얻었습니다. 이제 계속 진행해 보겠습니다.

Forget Gate

입력이 1일 때 우리는 특정 결과를 얻었습니다.
입력을 −10과 같이 비교적 큰 음수로 바꾸면, x축 값을 계산한 뒤 시그모이드 활성화 함수의 출력이 0에 가깝게 됩니다.

시그모이드 활성화 함수는 어떤 입력이든 0과 1 사이의 값으로 변환하므로, 그 출력은 장기 메모리의 어느 정도가 유지될지를 결정합니다. 0에 가까운 값이 나오면 장기 메모리는 완전히 사라집니다. 왜냐하면 0과 곱해지는 모든 값은 0이 되기 때문입니다.

따라서 LSTM의 첫 번째 단계는 장기 메모리 중 얼마만큼을 기억할지 비율을 결정합니다. 이 부분을 forget gate(망각 게이트)라고 합니다.

Second Stage

두 번째 단계에서는 오른쪽 블록이 단기 메모리와 입력을 결합하여 잠재적인 장기 메모리를 생성합니다. 왼쪽 블록은 그 잠재 메모리 중 얼마만큼을 장기 메모리에 추가할지 비율을 결정합니다.

잠재 메모리가 어떻게 생성되는지, 그리고 그 중 얼마가 장기 메모리에 추가되는지를 숫자를 대입해 살펴보겠습니다.

다음 기사에서 이 내용을 계속 탐구하겠습니다.