LSTM 이해하기 – 파트 5: 입력 게이트 설명

Source: Dev.to

입력 게이트 설명

이전 글에서는 LSTM의 두 번째와 세 번째 구성 요소를 살펴보았습니다. 여기서 그 이해를 더 깊게 하겠습니다.

가장 오른쪽에 있는 블록부터 시작하면, 단기 기억과 입력을 각각의 가중치와 곱합니다. 이렇게 하면 2.03이라는 값이 나오며, 이는 tanh 활성화 함수의 입력이 됩니다.

• 2.03을 tanh 함수에 넣으면 대략 0.97이 됩니다.
• tanh 활성화 함수는 모든 입력을 –1과 1 사이의 값으로 매핑합니다.
  • LSTM 입력이 1이면 tanh 출력은 1에 가깝습니다.
  • 입력이 –10이면 tanh 출력은 –1에 가깝습니다.

따라서 단기 기억과 입력을 바탕으로 잠재 기억 0.97을 얻게 됩니다.

다음으로 LSTM은 이전과 같은 방법으로 이 잠재 기억을 얼마나 유지할지 결정합니다.

• 값 4.27은 시그모이드 활성화 함수의 x축 입력으로 사용됩니다.
• 시그모이드 함수를 적용하면 y축 값이 대략 1.0이 됩니다.

이는 전체 잠재 장기 기억이 그대로 유지된다는 의미이며, 1을 곱해도 값이 변하지 않기 때문입니다. 만약 입력이 –10이라면 유지할 잠재 기억 비율은 0이 되어 장기 기억에 아무것도 추가되지 않습니다.

마지막으로, 유지된 잠재 기억(0.97)을 기존 장기 기억에 더합니다. 이 연산이 입력 게이트를 구성합니다.

다음 글에서는 LSTM의 최종 단계에 대해 논의할 것입니다.