Seq2Seq Neural Networks 이해 – 파트 5: 컨텍스트 벡터 디코딩

Source: Dev.to

이전 글에서는 컨텍스트 벡터 개념까지 다루었습니다.
이번 글에서는 컨텍스트 벡터를 디코딩하는 것부터 시작합니다.

디코더 연결하기

우선 해야 할 일은 컨텍스트 벡터를 구성하는 장기 및 단기 메모리(즉, 셀 상태와 은닉 상태)를 새로운 LSTM 집합에 연결하는 것입니다.

• 인코더와 마찬가지로, 디코더도 두 개의 레이어를 가지고 있으며 각 레이어에는 두 개의 LSTM 셀이 포함됩니다.
• 디코더의 LSTM은 인코더와는 별개의 가중치와 편향을 갖습니다.

컨텍스트 벡터 사용하기

컨텍스트 벡터는 디코더의 LSTM에서 장기 및 단기 메모리(셀 상태와 은닉 상태)를 초기화하는 데 사용됩니다.
이 초기화를 통해 디코더는 입력 문장에서 학습한 정보를 바탕으로 시작할 수 있습니다.

디코더의 목표

디코더의 궁극적인 목표는 컨텍스트 벡터를 출력 문장으로 변환하는 것입니다.

• 인코더는 입력을 이해합니다.
• 디코더는 그 이해를 바탕으로 출력을 생성합니다.

디코더 입력

인코더와 마찬가지로, 첫 번째 레이어의 LSTM 셀에 들어가는 입력은 임베딩 레이어에서 나옵니다.

임베딩 레이어는 스페인어 단어에 대한 임베딩 값을 생성합니다. 예를 들어:

• ir
• vamos
• y
• ** (문장 종료 기호)

각 단어는 토큰으로 취급되며, 임베딩 레이어는 이를 신경망이 처리할 수 있는 숫자로 변환합니다.

다음 글에서는 디코더가 출력 문장을 생성하는 상세 과정을 살펴볼 것입니다.

ipm install repo-name