循环神经网络 (RNN) 通过维护一个隐藏状态来处理序列数据，该隐藏状态捕获序列中前一步的信息。与独立处理每个输入的前馈神经网络不同，RNN 使用循环将信息从一个步骤传递到下一个步骤。这使它们能够处理任意长度的序列，同时保留上下文。例如，在分析句子时，RNN 会一次处理一个词，更新其隐藏状态以反映到目前为止的句子含义。隐藏状态充当记忆，影响网络如何解释后续输入。
RNN 的关键机制是在所有时间步重复应用同一组参数。在每个步骤，网络接收两个输入：当前数据点（例如，句子中的一个词）和前一步的隐藏状态。这些输入通过权重和激活函数组合，产生新的隐藏状态和输出。例如，在时间序列预测任务中，RNN 可能会获取每小时的温度读数。在每一小时，它使用当前温度和隐藏状态（汇总了过去的温度）来预测下一小时的值。这种参数共享使得 RNN 在处理序列时效率很高，因为无论序列长度如何，都重用相同的逻辑。
然而，标准 RNN 在训练过程中由于梯度消失或梯度爆炸问题，难以处理长期依赖关系。例如，在一段文本中，RNN 可能在处理到末尾时忘记第一句话的关键细节。为了解决这个问题，开发了变体，如长短期记忆 (LSTM) 网络和门控循环单元 (GRU)，它们使用门控来控制信息流。尽管存在这些限制，基本 RNN 对于较短的序列或上下文局部相关的任务仍然有用，例如简单的语言建模或实时传感器数据处理。它们处理无固定输入大小的序列数据的能力使其成为语音识别、机器翻译和时间序列分析等任务的基础。