RNN

类torch.nn.RNN(input_size, hidden_size, num_layers=1, nonlinearity='tanh', bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[源代码]

使用多层 Elman RNN 和 $\tanh$ 或 $\text{ReLU}$ 非线性来处理输入序列。对于输入序列中的每个元素，每一层都会计算以下函数：

h_t = \tanh(x_t W_{ih}^T + b_{ih} + h_{t-1}W_{hh}^T + b_{hh})

其中 $$h_t$$ 表示时间t的隐藏状态， $$x_t$$ 表示时间t的输入，而 $h_{(t-1)}$ 则是时间t-1的上一层隐藏状态或时间0的初始隐藏状态。如果nonlinearity 的值为 'relu'，则使用 $\text{ReLU}$ 替代 $\tanh$ 。

# Efficient implementation equivalent to the following with bidirectional=False
def forward(x, h_0=None):
    if batch_first:
        x = x.transpose(0, 1)
    seq_len, batch_size, _ = x.size()
    if h_0 is None:
        h_0 = torch.zeros(num_layers, batch_size, hidden_size)
    h_t_minus_1 = h_0
    h_t = h_0
    output = []
    for t in range(seq_len):
        for layer in range(num_layers):
            h_t[layer] = torch.tanh(
                x[t] @ weight_ih[layer].T
                + bias_ih[layer]
                + h_t_minus_1[layer] @ weight_hh[layer].T
                + bias_hh[layer]
            )
        output.append(h_t[-1])
        h_t_minus_1 = h_t
    output = torch.stack(output)
    if batch_first:
        output = output.transpose(0, 1)
    return output, h_t

参数

input_size - 输入x中预期的特征数量
hidden_size – 隐藏状态 h 中的特征数
num_layers – 循环层的数量。例如，设置 num_layers=2 表示将两个 RNN 堆叠在一起形成一个堆叠的RNN，其中第二个 RNN 接收第一个 RNN 的输出并计算最终结果。默认值：1
nonlinearity - 要使用的非线性函数，可以是 'tanh' 或 'relu'，默认为 'tanh'
bias – 如果为False，则该层不使用偏置权重b_ih和b_hh。默认值：True
batch_first – 如果为True，则输入和输出张量的形状为(batch, seq, feature)，而不是默认的(seq, batch, feature)。需要注意的是，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下面的Inputs/Outputs部分。默认值：False
dropout – 如果非零，则在每个 RNN 层（除了最后一层）的输出后引入一个Dropout层，丢弃概率为dropout。默认值：0
bidirectional - 当设置为True时，表示使用双向RNN。默认值为False

输入: 输入数据, 初始隐藏状态

input: 形状为 $(L, H_{in})$ 的张量，用于未批量处理的输入；当 batch_first=False 时形状为 $(L, N, H_{in})$ ，当 batch_first=True 时形状为 $(N, L, H_{in})$ 。这些张量包含输入序列的特征。输入也可以是一个打包的可变长度序列。详情请参阅torch.nn.utils.rnn.pack_padded_sequence() 或者 torch.nn.utils.rnn.pack_sequence()。
h_0: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批量处理的输入；或形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含输入序列批次的初始隐藏状态。如果未提供，默认值为零。

其中：

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

输出: output, h_n

输出: 对于未批量处理的输入，张量形状为 $(L, D * H_{out})$ ; 当 batch_first=False 时，张量形状为 $(L, N, D * H_{out})$ ; 当 batch_first=True 时，张量形状为 $(N, L, D * H_{out})$ 。这些张量包含每个时间步长 (t) 来自 RNN 最后一层的输出特征 (h_t)。如果输入是一个torch.nn.utils.rnn.PackedSequence，则输出也将是打包序列。
h_n: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批量处理的输入；或形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含批次中每个元素的最终隐藏状态。

变量

weight_ih_l[k] – 第 k 层的可学习输入-隐藏权重。当 k = 0 时，其形状为 (hidden_size, input_size)；否则，形状为 (hidden_size, num_directions * hidden_size)
weight_hh_l[k] - 第 k 层的可学习隐藏层到隐藏层的权重，形状为 (hidden_size, hidden_size)
bias_ih_l[k] - 第 k 层的可学习输入到隐藏层的偏置，其形状为 (hidden_size)
bias_hh_l[k] - 第 k 层的可学习隐藏层到隐藏层的偏置，形状为 (hidden_size)

注意

所有的权重和偏置都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$ 。

注意

对于双向 RNN，正向和反向的方向分别用 0 和 1 表示。当 batch_first=False 时，输出层的拆分示例如下： output.view(seq_len, batch, num_directions, hidden_size)。

注意

batch_first 参数会被忽略，除非输入是批量化的。

警告

在某些版本的cuDNN和CUDA中，RNN函数存在已知的非确定性问题。你可以通过设置以下环境变量来确保其行为的一致性和确定性：

在 CUDA 10.1 中，设置环境变量 CUDA_LAUNCH_BLOCKING=1。这可能会对性能产生影响。

在 CUDA 10.2 或更高版本中，设置环境变量（注意前面的冒号符号）CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

参阅cuDNN 8 发行说明以获取更多信息。

注意

如果满足以下条件：1）启用cudnn，2）输入数据位于GPU上，3）输入数据的数据类型为torch.float16，4）使用V100 GPU，5）输入数据不是PackedSequence格式，则可以选择持久算法以提高性能。

示例:

>>> rnn = nn.RNN(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)