Attention 메커니즘 이해 – Part 6: 디코딩의 최종 단계

Source: Dev.to

디코딩의 최종 단계

이전 기사에서 초기 출력을 얻었지만 EOS 토큰은 아직 받지 못했습니다.

이를 얻기 위해서는 디코더의 임베딩 레이어와 LSTM을 풀어낸 뒤, 번역된 단어 **“vamos”**를 디코더의 풀어낸 임베딩 레이어에 입력해야 합니다. 그 후 이전과 동일한 과정을 따르되, 이번에는 **“vamos”**에 대한 인코딩 값을 사용합니다.

디코더에서 두 번째 출력은 EOS이며, 이는 디코딩이 완료되었음을 의미합니다.

인코더‑디코더 모델에 어텐션을 추가하면 인코더는 대부분 그대로 유지됩니다. 그러나 디코딩의 각 단계마다 모델은 입력 단어 각각에 대한 개별 인코딩에 접근할 수 있습니다. 우리는 유사도 점수와 소프트맥스 함수를 사용해 각 인코딩된 입력 단어가 다음 출력 단어를 예측하는 데 사용될 비율을 결정합니다.

이제 모델에 어텐션을 추가했으므로, 이전과 같은 방식으로 LSTM이 반드시 필요하지 않을 수도 있습니다. 이는 트랜스포머로 넘어갈 때 더 자세히 살펴볼 것입니다.

Installerpedia (선택 도구)

도구, 라이브러리 또는 전체 저장소를 더 쉽게 설치하고 싶으신가요? 최소한의 번거로움과 명확하고 신뢰할 수 있는 가이드를 제공하는 커뮤니티 기반 구조화 설치 플랫폼 Installerpedia를 사용해 보세요.

ipm install repo-name

🔗 여기서 Installerpedia 탐색하기