BCELoss

类torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')[源代码]

创建一个衡量目标与输入概率之间二元交叉熵的标准。

当reduction设置为'none'时，损失可以描述为未减少的：

$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],$

其中$N$ 表示批量大小。如果reduction 不是'none'（默认为'mean'），则

$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}$

这用于测量如自编码器中的重构误差。请注意，目标值$y$应在0到1之间。

注意，如果$x_n$为0或1，上述损失函数中的一个对数项将变得数学上未定义。PyTorch选择设置$\log (0) = -\infty$，因为$\lim_{x\to 0} \log (x) = -\infty$。然而，由于几个原因，在损失函数中出现无穷大项是不理想的。

首先，如果 $y_n = 0$ 或者 $(1 - y_n) = 0$，那么我们会得到一个无穷大的结果（因为是0乘以无穷大）。其次，如果我们有一个无限大的损失值，由于$\lim_{x\to 0} \frac{d}{dx} \log (x) = \infty$，在梯度中也会出现一个无限项。这会使BCELoss的反向传播方法相对于$x_n$是非线性的，并且将其用于如线性回归等任务将不会那么简单。

我们的解决方案是，BCELoss 将其对数函数的输出限制在大于或等于 -100。这样一来，我们就能始终保持一个有限的损失值，并且有一个线性的反向传播方法。

参数

• weight (Tensor, 可选) – 每个批次元素损失的手动重缩放权重。如果提供，必须是一个大小为 nbatch 的 Tensor。

• size_average (bool, optional) – 已弃用（请参见reduction）。默认情况下，损失值会在批次中的每个损失元素上进行平均计算。需要注意的是，对于某些损失函数，每个样本包含多个损失元素。如果将字段 size_average 设置为 False，则损失值会针对每个小批量求和。当reduce 为 False时，此设置会被忽略。默认值： True

• reduce (bool, optional) – 已弃用（请参见reduction）。默认情况下，损失值会根据size_average参数在每个小批量中进行平均或求和。当reduce为False时，返回每批元素的单独损失值，并忽略size_average设置。默认值：True

• reduction (str, 可选) – 指定要应用于输出的缩减方式：'none' | 'mean' | 'sum'。
  'none': 不进行任何缩减，'mean': 输出总和除以元素数量，'sum': 对输出求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个将覆盖 reduction 参数。默认值： 'mean'

形状:

• 输入: $(*)$，其中$*$表示任意维度的数量。

• 目标: $(*)$，形状与输入相同。

• 输出：标量。如果 reduction 是 'none'，那么结果为 $(*)$，其形状与输入相同。

示例:

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, 2, requires_grad=True)
>>> target = torch.rand(3, 2, requires_grad=False)
>>> output = loss(m(input), target)
>>> output.backward()