SiLU

类torch.nn.SiLU(inplace=False)[源代码]

逐元素应用Sigmoid线性单元（SiLU）函数。

SiLU 函数又称作 swish 函数。

$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$

注意

参见高斯误差线性单元（GELUs），该文中首次提出了SiLU（Sigmoid 线性单元），并参考用于强化学习中神经网络函数近似的Sigmoid加权线性单元和Swish：一种自门控激活函数，其中后来对SiLU进行了实验。

形状:

• 输入: $(*)$，其中$*$表示任意维度的数量。

• 输出: $(*)$，形状与输入相同。

示例:

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)