ReaderMX.
PostgreSQL码农集散地

AI论文解读 | 长短期记忆网络 Long Short-Term Memory (LSTM)

Pdigoal约 7 分钟

AI论文解读 | 长短期记忆网络 Long Short-Term Memory (LSTM)

一、基础知识

要理解这篇关于长短期记忆网络（LSTM）的论文，需要掌握以下几个方面的基础知识：

1. 神经网络基础

  • **神经元 (Neuron)**：神经网络的基本单元，接收输入，进行加权求和，通过激活函数输出。

    Image

  • **前馈神经网络 (Feedforward Neural Network)**：信息单向传递的网络，没有循环或反馈连接。

    Image

  • **反向传播算法 (Backpropagation)**：用于训练神经网络的算法，通过计算损失函数对权重的梯度，更新权重以减小损失。

    Image

  • **梯度消失/爆炸 (Vanishing/Exploding Gradients)**：在深度神经网络中，梯度在反向传播时可能变得非常小（消失）或非常大（爆炸），导致训练困难。

2. 循环神经网络 (RNN)

  • **循环连接 (Recurrent Connections)**：RNN 的关键特征，允许网络将过去的信息传递到未来。

    Image

  • **时间步 (Time Step)**：RNN 处理序列数据时，每个时间点对应一个时间步。

  • **展开的 RNN (Unrolled RNN)**：为了理解 RNN 的工作方式，可以将其展开成一个前馈网络，每个时间步对应一层。

    Image

  • **BPTT (Backpropagation Through Time)**：用于训练 RNN 的反向传播算法，需要展开网络到一定的时间步。

3. 长短期记忆网络 (LSTM)

  • **记忆单元 (Memory Cell)**：LSTM 的核心组件，用于存储和访问长期信息。

  • **门控机制 (Gating Mechanisms)**：LSTM 使用门来控制信息的流动，包括：

    • **输入门 (Input Gate)**：控制新信息进入记忆单元的程度。
    • **遗忘门 (Forget Gate)**：控制记忆单元中哪些信息需要遗忘。
    • **输出门 (Output Gate)**：控制记忆单元中的信息输出到隐藏状态的程度。
      Image

  • **CEC (Constant Error Carousel)**：LSTM 中的一个关键设计，允许误差在记忆单元中保持不变，从而解决梯度消失问题。

4. 论文中涉及的其他概念

  • **时间滞后 (Time Lag)**：输入和对应的目标信号之间的时间间隔。LSTM 旨在处理长时间滞后的问题。
  • **乘法单元 (Multiplicative Units)**：LSTM 使用乘法单元（门）来控制信息的流动。
  • **计算复杂度 (Computational Complexity)**：算法运行所需的时间和空间资源。LSTM 论文强调了其计算效率。

总结

理解 LSTM 论文需要对神经网络、RNN 和 LSTM 的基本概念有清晰的认识。特别是要理解 RNN 的梯度消失问题，以及 LSTM 如何通过记忆单元和门控机制来解决这个问题。

二、论文解读

好的，我们来深入解读 Hochreiter 和 Schmidhuber 的 LSTM 论文。这篇论文是 LSTM 的奠基之作，理解它对于掌握 LSTM 的本质至关重要。

论文的核心问题：

传统的循环神经网络 (RNN) 在处理长序列时面临“梯度消失”和“梯度爆炸”的问题。这意味着网络很难学习到序列中长期依赖关系。LSTM 的目标就是解决这个问题，让 RNN 能够记住更长时间的信息。

1. 梯度消失问题 (Vanishing Gradients)

  • 问题描述： 在 RNN 中，误差信号需要通过时间反向传播来更新权重。如果序列很长，误差信号在传播过程中会逐渐衰减，导致前面的层学不到东西。

  • Hochreiter 的分析： 论文中回顾了 Hochreiter (1991) 的分析，指出误差信号的衰减程度与权重的大小有关。如果权重较小，误差信号会指数级衰减。

    Image
    • 上图中，虚线表示反向传播的梯度。可以看到，梯度在传播过程中逐渐消失。

  • 为什么梯度消失是问题？ 如果梯度消失，网络就无法学习到长期依赖关系，因为前面的层无法获得有效的误差信号来调整权重。  备注: 拿股票数据预测举例, 很久以前的数据对现在的股价有影响, 但是可能算不出来影响是怎么样的. 或者是现在的数据对未来很多天之后的数据有多少影响, 影响是怎么样的, 很难评估. 例如我之前使用线性回归预测股价, 预测下一天的比较准, 下2天一般, 再往后就不太准了.

  • 《PostgreSQL 多元线性回归 - 2 股票预测》
  • 《在PostgreSQL中用线性回归分析linear regression做预测 - 例子2, 预测未来数日某股收盘价》
  • 《PostgreSQL 线性回归 - 股价预测 1》
  • 《在PostgreSQL中用线性回归分析(linear regression) - 实现数据预测 - 股票预测例子》

2. LSTM 的解决方案：长短期记忆

LSTM 的核心思想是引入“记忆单元 (Memory Cell)”来存储长期信息，并使用“门控机制 (Gating Mechanisms)”来控制信息的流动。

  • 记忆单元 (Memory Cell)： 类似于一个可以存储信息的容器。信息可以在记忆单元中长期保存，不受时间的影响。

  • 门控机制 (Gating Mechanisms)： 用于控制信息的流入、流出和遗忘。LSTM 中有三种主要的门：

    • 遗忘门 (Forget Gate)： 决定哪些信息需要从记忆单元中遗忘。

    • 输入门 (Input Gate)： 决定哪些新的信息需要存入记忆单元。

    • 输出门 (Output Gate)： 决定记忆单元中的哪些信息需要输出到隐藏状态。

      Image

    • 上图中，Cell State 是记忆单元的核心，信息可以在其中长期保存。门控机制控制着信息的流动。

3. 关键机制：CEC (Constant Error Carousel)

  • CEC 的作用： CEC 是 LSTM 中一个关键的设计，它允许误差在记忆单元中保持不变，从而解决梯度消失问题。

  • 如何实现： CEC 通过一个线性连接将记忆单元的内部状态连接起来。由于是线性连接，误差信号在传播过程中不会衰减。

    Image
    • 上图中，绿色的粗线表示 CEC，误差信号可以在其中保持不变。

  • 门的作用： 门控机制用于控制对 CEC 的访问。遗忘门决定哪些信息需要从 CEC 中移除，输入门决定哪些新的信息需要存入 CEC，输出门决定 CEC 中的哪些信息需要输出。

4. LSTM 的优点

  • 解决梯度消失问题： 通过 CEC，LSTM 可以有效地解决梯度消失问题，从而学习到长期依赖关系。
  • 学习长期依赖关系： LSTM 可以学习到序列中长期依赖关系，从而更好地处理长序列数据。
  • 鲁棒性： LSTM 对噪声和不确定性具有较强的鲁棒性。

5. LSTM 的局限性

  • 计算复杂度： LSTM 的计算复杂度较高，需要更多的计算资源。
  • 参数调整： LSTM 的参数较多，需要仔细调整才能获得最佳性能。

6. 实验结果

论文中通过大量的实验证明了 LSTM 的有效性。LSTM 在各种任务上都取得了优于其他 RNN 变体的结果，包括：

  • 人工数据集： 解决复杂的、人工设计的长期依赖问题。
  • 真实数据集： 在语音识别等任务上表现出色。

总结

LSTM 是一种强大的 RNN 变体，它通过引入记忆单元和门控机制来解决梯度消失问题，从而学习到长期依赖关系。LSTM 在各种任务上都取得了优异的性能，是深度学习领域中一个重要的里程碑。

三、关键术语

好的，我们来提取 LSTM 论文中的一些重要术语，并进行详细解释，同时使用 Mermaid 图示来帮助理解。

1. 循环神经网络 (Recurrent Neural Network, RNN)

  • 定义： 一种处理序列数据的神经网络，其特点是网络中存在循环连接，使得网络可以记住之前的状态。

  • 工作原理： RNN 将序列中的每个元素作为输入，并将其与之前的隐藏状态结合起来，生成新的隐藏状态。这个过程会重复进行，直到序列结束。

  • 局限性： 梯度消失和梯度爆炸问题，难以学习长期依赖关系。

    Image
    • X(t): 时间步 t 的输入
    • H(t): 时间步 t 的隐藏状态
    • Y(t): 时间步 t 的输出

2. 梯度消失 (Vanishing Gradient)

  • 定义： 在反向传播过程中，梯度逐渐衰减，导致前面的层无法学习到有效的误差信号。

  • 原因： 误差信号需要通过时间反向传播来更新权重。如果序列很长，误差信号在传播过程中会逐渐衰减，尤其是在权重较小的情况下。

  • 影响： 网络无法学习到长期依赖关系。

    Image
    • 虚线表示反向传播的梯度。可以看到，梯度在传播过程中逐渐消失。

3. 长短期记忆 (Long Short-Term Memory, LSTM)

  • 定义： 一种特殊的 RNN 结构，旨在解决梯度消失问题，从而学习长期依赖关系。

  • 核心组件： 记忆单元 (Memory Cell) 和门控机制 (Gating Mechanisms)。

    Image
    • Cell State: 记忆单元的核心，信息可以在其中长期保存。
    • Forget Gate, Input Gate, Output Gate: 门控机制，控制信息的流动。

4. 记忆单元 (Memory Cell)

  • 定义： LSTM 中的一个核心组件，用于存储长期信息。

  • 作用： 类似于一个可以存储信息的容器。信息可以在记忆单元中长期保存，不受时间的影响。

  • 与 RNN 的区别： RNN 的隐藏状态会随着时间步的推移而不断更新，而 LSTM 的记忆单元可以长期保存信息。

5. 门控机制 (Gating Mechanisms)

  • 定义： 用于控制信息的流入、流出和遗忘的机制。

  • 类型： 遗忘门 (Forget Gate)、输入门 (Input Gate) 和输出门 (Output Gate)。

  • 作用： 门控机制可以控制对记忆单元的访问，从而实现对长期信息的选择性存储和提取。

6. 遗忘门 (Forget Gate)

  • 作用： 决定哪些信息需要从记忆单元中遗忘。

  • 计算方式： 基于当前输入和之前的隐藏状态，计算出一个介于 0 和 1 之间的值。如果值为 0，则表示完全遗忘；如果值为 1，则表示完全保留。

    Image

7. 输入门 (Input Gate)

  • 作用： 决定哪些新的信息需要存入记忆单元。

  • 计算方式： 基于当前输入和之前的隐藏状态，计算出一个介于 0 和 1 之间的值，以及一个候选的记忆单元状态。

    Image

8. 输出门 (Output Gate)

  • 作用： 决定记忆单元中的哪些信息需要输出到隐藏状态。

  • 计算方式： 基于当前输入和之前的隐藏状态，计算出一个介于 0 和 1 之间的值。

    Image

9. CEC (Constant Error Carousel)

  • 作用： 允许误差在记忆单元中保持不变，从而解决梯度消失问题。

  • 实现方式： 通过一个线性连接将记忆单元的内部状态连接起来。

    Image
    • 绿色的粗线表示 CEC，误差信号可以在其中保持不变。

 以上内容基于DeepSeek及诸多AI生成, 轻微人工调整, 感谢杭州深度求索人工智能等公司. 

 AI 生成的内容请自行辨别正确性, 当然也多了些许踩坑的乐趣, 毕竟冒险是每个男人的天性. 

KEEP THE THREAD GOING

更多来源文章