LSTM 이해하기 – 파트 6: LSTM이 최종 출력을 생성하는 방법

Source: Dev.to

최종 단계: 단기 메모리 업데이트

이전 기사에서는 입력 게이트를 살펴보았습니다; 이번 기사에서는 다음 구성 요소를 탐구합니다.

이 최종 단계에서는 단기 메모리를 업데이트합니다.
우리는 새로운 장기 메모리로 시작하여 이를 tanh 활성화 함수의 입력으로 사용합니다. tanh 함수에 2.96을 대입하면 ≈ 0.99가 됩니다. 값 0.99는 잠재적인 단기 메모리를 나타냅니다.

출력량 결정하기

이제 LSTM은 이 잠재적인 단기 메모리 중 얼마나 많은 부분을 앞으로 전달할지 결정해야 합니다. 이전 단계와 마찬가지로 시그모이드 활성화 함수를 사용해 LSTM이 유지할 비율을 정합니다. 계산을 수행한 결과 0.99가 나옵니다.

새로운 단기 메모리 만들기

이제 두 값을 곱합니다:

[ \text{new short‑term memory} = 0.99 \times 0.99 \approx 0.98 ]

이렇게 새로운 단기 메모리, 0.98이 생성됩니다. 이 값 0.98은 전체 LSTM 유닛의 최종 출력이기도 합니다. 새로운 단기 메모리가 LSTM 유닛의 출력이기 때문에 이 단계는 출력 게이트라고 불립니다.

이제 LSTM의 세 단계가 어떻게 작동하는지 이해했으니, 다음 기사에서 실제 데이터와 함께 이를 직접 확인해 보겠습니다.