理解 LSTM – 第4部分：LSTM 如何决定忘记什么

Source: Dev.to

在上一篇文章中，我们完成了 LSTM 的第一部分并得到了计算结果。现在继续。

Forget Gate

当输入为 1 时，我们得到了一定的结果。
如果将输入改为一个相对较大的负数，例如 −10，那么在计算 x 轴的值后，sigmoid 激活函数的输出将接近 0。

长期记忆将被完全遗忘，因为任何数乘以 0 都是 0。由于 sigmoid 激活函数会把任意输入转换为 0 到 1 之间的值，它的输出决定了长期记忆保留的百分比。

因此，LSTM 的第一阶段决定了长期记忆被记住的百分比。这部分称为 forget gate（遗忘门）。

Second Stage

在第二阶段，右侧的块将短期记忆和输入结合，生成一个潜在的长期记忆。左侧的块随后决定该潜在记忆的多少比例应被加入到长期记忆中。

让我们代入数值，看看潜在记忆是如何产生的，以及其中有多少会被加入到长期记忆。

我们将在下一篇文章中继续探讨此内容。