理解 LSTM——第5部分：输入门详解

Source: Dev.to

输入门解释

在上一篇文章中，我们已经了解了 LSTM 的第二和第三个组成部分。这里我们将进一步加深理解。

从最右侧的块开始，我们将短期记忆和输入分别乘以它们对应的权重。得到的数值为 2.03，这将作为 tanh 激活函数的输入。

• 将 2.03 代入 tanh 函数后得到约 0.97。
• tanh 激活函数会把任意输入映射到 –1 到 1 之间的值。
  • 当 LSTM 输入为 1 时，tanh 输出接近 1。
  • 当输入为 –10 时，tanh 输出接近 –1。

因此，基于短期记忆和输入，我们现在得到一个 潜在记忆为 0.97。

接下来，LSTM 决定保留多少这部分潜在记忆，使用与之前相同的方法。

• 数值 4.27 作为 sigmoid 激活函数的横坐标输入。
• 应用 sigmoid 函数后得到约 1.0 的纵坐标值。

这意味着整个潜在长期记忆都会被保留，因为乘以 1 不会改变它。如果输入为 –10，则保留的潜在记忆比例为 0，长期记忆中将不会加入任何内容。

最后，我们将保留下来的潜在记忆（0.97）加到已有的长期记忆中。这一步骤即构成了 输入门。

下一篇文章将讨论 LSTM 的最后阶段。