SmoothL1损失函数

类torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)[源代码]

创建一个标准：如果元素级别的绝对误差低于 beta，则使用平方项，否则使用 L1 项。相比 torch.nn.MSELoss，它对异常值更不敏感，并且在某些情况下可以防止梯度爆炸（例如参见 Ross Girshick 的论文 Fast R-CNN）。

对于大小为 $$N$$ 的小批量数据，未归一化的损失可以描述为：

\ell(x, y) = L = \{l_1, ..., l_N\}^T

使用

l_n = \begin{cases} 0.5 (x_n - y_n)^2 / beta, & \text{if } |x_n - y_n| < beta \\ |x_n - y_n| - 0.5 * beta, & \text{otherwise } \end{cases}

如果 reduction 不是 none，则：

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

注意

Smooth L1 损失可以看作是 L1Loss，但在 $$|x - y| < beta$$ 的部分被一个二次函数替代，使得在 $$|x - y| = beta$$ 时斜率为1。这个二次函数段使 L1 损失在接近 $$|x - y| = 0$$ 时更加平滑。

注意

Smooth L1 损失与HuberLoss密切相关，等同于 $$huber(x, y) / beta$$ （需要注意的是，Smooth L1 的 beta 超参数在 Huber 损失中被称为 delta）。这导致了以下差异：

当 beta 接近 0 时，Smooth L1 损失收敛到L1Loss，而HuberLoss 收敛到常数 0 损失。当 beta 等于 0 时，Smooth L1 损失等同于 L1 损失。
当 beta 趋向于正无穷时，Smooth L1 损失收敛到常量 0 损失，而 HuberLoss 收敛到 MSELoss。
对于 Smooth L1 损失，无论 beta 如何变化，其 L1 部分的斜率始终为 1。而对于 HuberLoss，L1 部分的斜率则等于 beta。

参数

size_average (bool, optional) – 已弃用（请参见reduction）。默认情况下，损失值会在批次中的每个损失元素上进行平均计算。需要注意的是，对于某些损失函数，每个样本包含多个损失元素。如果将字段 size_average 设置为 False，则损失值会针对每个小批量求和。当reduce 为 False时，此设置会被忽略。默认值： True
reduce (bool, optional) – 已弃用（请参见reduction）。默认情况下，损失值会根据size_average参数在每个小批量中进行平均或求和。当reduce为False时，返回每批元素的单独损失值，并忽略size_average设置。默认值：True
reduction (str, 可选) – 指定要应用于输出的缩减方式：'none' | 'mean' | 'sum'。
'none': 不进行任何缩减，'mean': 输出总和除以元素数量，'sum': 对输出求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个将覆盖 reduction 参数。默认值： 'mean'
beta (float, 可选) – 指定在L1和L2损失之间切换的阈值。该值必须为非负数，默认值：1.0

形状: