递归神经网络

递归神经网络（RNN）是一类神经网络，其中节点之间的连接形成一个有向图沿时间序列。这使其具有时间动态行为。RNN源自前馈神经网络，可以使用其内部状态（内存）来处理可变长度的输入序列。这使它们适用于诸如未分段的连接手写识别^[4]或语音识别之类的任务。

不加区别地使用术语“递归神经网络”来指代具有相似一般结构的两大类网络，其中一类是有限冲量，另一类是无限冲量。这两类网络都表现出时间动态行为。有限脉冲递归网络是有向无环图，可以展开并用严格的前馈神经网络代替，而无限脉冲递归网络是不能展开的有向环图。

有限脉冲和无限脉冲递归网络都可以具有其他存储状态，并且该存储可以在神经网络的直接控制下。如果包含时间延迟或具有反馈回路，则存储也可以由另一个网络或图形代替。这样的受控状态被称为门控状态或门控存储器，并且是长短期存储网络（LSTM）和门控循环单元的一部分。这也称为反馈神经网络（FNN）。

RNN可能行为混乱。在这种情况下，可以将动力学系统理论用于分析。

它们实际上是具有特定结构的递归神经网络：线性链的结构。递归神经网络在任何层次结构上运行，将子代表示合并为父代表示，而递归神经网络在时间的线性进程上运行，将前一时间步长和隐藏表示合并为当前时间步长。

特别是，RNN可以作为有限冲激响应和无限冲激响应滤波器的非线性形式出现，也可以作为非线性自回归外生模型（NARX）出现。