torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False)[源代码]

逐元素应用 SiLU（sigmoid 线性单元）函数。

SiLU 函数又称作 swish 函数。

$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$

注意

参见高斯误差线性单元（GELUs），该文中首次提出了SiLU（Sigmoid 线性单元），并参考用于强化学习中神经网络函数近似的Sigmoid加权线性单元和Swish：一种自门控激活函数，其中后来对SiLU进行了实验。

更多详情请参见SiLU。

返回类型

Tensor