GRU

classtorch.nn.GRU(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[源代码]

使用多层门控循环单元（GRU）RNN处理输入序列。对于序列中的每个元素，每层都会执行以下计算：

\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}

其中 $$h_t$$ 表示时间t的隐藏状态， $$x_t$$ 表示时间t的输入， $h_{(t-1)}$ 是时间t-1的层隐藏状态或时间0的初始隐藏状态。而 $$r_t$$ 、 $$z_t$$ 和 $$n_t$$ 分别代表重置门、更新门和新输入门。 $\sigma$ 是 sigmoid 函数， $\odot$ 表示 Hadamard 乘积。

在多层GRU中，第 $$l$$ 层（ $l \ge 2$ ）的输入 $x^{(l)}_t$ 是前一层隐藏状态 $h^{(l-1)}_t$ 和 dropout $\delta^{(l-1)}_t$ 的乘积。每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，以概率dropout取值为 $$0$$ 。

参数

input_size - 输入x中预期的特征数量
hidden_size – 隐藏状态 h 中的特征数
num_layers – 循环层的数量。例如，设置 num_layers=2 表示堆叠两个 GRU 层来形成一个堆叠的GRU，其中第二个GRU接收第一个GRU的输出并计算最终结果。默认值：1
bias – 如果为False，则该层不使用偏置权重b_ih和b_hh。默认值：True
batch_first – 如果为True，则输入和输出张量的形状为(batch, seq, feature)，而不是默认的(seq, batch, feature)。需要注意的是，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下面的Inputs/Outputs部分。默认值：False
dropout – 如果非零，则在每个GRU层的输出（除了最后一层之外）上引入一个Dropout 层，其概率等于 dropout。默认值：0
bidirectional - 当设置为True时，表示使用双向GRU。默认值为False。

输入: 输入数据, 初始隐藏状态

input: 形状为 $(L, H_{in})$ 的张量，用于未批量处理的输入；当 batch_first=False 时形状为 $(L, N, H_{in})$ ，当 batch_first=True 时形状为 $(N, L, H_{in})$ 。这些张量包含输入序列的特征。输入也可以是一个打包的可变长度序列。详情请参阅torch.nn.utils.rnn.pack_padded_sequence() 或者 torch.nn.utils.rnn.pack_sequence()。
h_0: 形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含输入序列的初始隐藏状态。如果没有提供，默认值为零。

其中：

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

输出: output, h_n

输出: 对于未批量处理的输入，张量形状为 $(L, D * H_{out})$ ; 当 batch_first=False 时，张量形状为 $(L, N, D * H_{out})$ ; 当 batch_first=True 时，张量形状为 $(N, L, D * H_{out})$ 。这些张量包含每个时间步长 t 从 GRU 最后一层输出的特征 (h_t)。如果输入是一个torch.nn.utils.rnn.PackedSequence，则输出也将是打包序列。
h_n: 形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含输入序列的最终隐藏状态。

变量

weight_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习输入-隐藏权重 (W_ir|W_iz|W_in)。当 k = 0 时，其形状为 (3*hidden_size, input_size)；否则，形状为 (3*hidden_size, num_directions * hidden_size)
weight_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习隐藏状态到隐藏状态的权重 (W_hr|W_hz|W_hn)，形状为(3*hidden_size, hidden_size)
bias_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习输入到隐藏层的偏差（b_ir|b_iz|b_in），形状为(3*hidden_size)
bias_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习隐藏层到隐藏层偏置（b_hr|b_hz|b_hn），形状为(3*hidden_size)

注意

所有的权重和偏置都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$ 。

注意

对于双向GRU，正向和反向分别是方向0和1。当batch_first=False时，输出层的分割示例如下：output.view(seq_len, batch, num_directions, hidden_size)。

注意

batch_first 参数会被忽略，除非输入是批量化的。

注意

新门 $$n_t$$ 的计算与原论文和其他框架有所不同。在原来的实现中，会先进行 $$r_t$$ 和前一个隐藏状态 $h_{(t-1)}$ 之间的 Hadamard 产品（ $(\odot)$ ），然后再与权重矩阵 W 相乘并添加偏置。

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}

这与 PyTorch 的实现不同，PyTorch 中的实现是在计算了 $W_{hn} h_{(t-1)}$ 之后进行的。

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}

此实现有意不同，以提高效率。

注意

如果满足以下条件：1）启用cudnn，2）输入数据位于GPU上，3）输入数据的数据类型为torch.float16，4）使用V100 GPU，5）输入数据不是PackedSequence格式，则可以选择持久算法以提高性能。

示例:

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)