torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor[源代码]

门控线性单元。进行以下计算：

$\text{GLU}(a, b) = a \otimes \sigma(b)$

其中input沿dim拆分形成a和b，$\sigma$表示 sigmoid 函数，而$\otimes$表示矩阵之间的逐元素乘法。

参阅 基于门控卷积网络的语言模型

参数

• 输入 (Tensor) – 输入张量

• dim (int) – 输入要沿该维度进行分割。默认值：-1

返回类型

Tensor