GELU

类torch.nn.GELU(approximate='none')[源代码]

应用高斯误差线性单位函数。

$\text{GELU}(x) = x * \Phi(x)$

其中$\Phi(x)$ 是 Gaussian 分布的累积分布函数。

当参数为 ‘tanh’ 时，Gelu 的估算值为：

$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$

参数

approximate (str, 可选) – 要使用的 GELU 近似算法： 'none' 或 'tanh'。 默认值：'none'

形状:

• 输入: $(*)$，其中$*$表示任意维度的数量。

• 输出: $(*)$，形状与输入相同。

示例:

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)