torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size)[源代码]

创建一个右下角的因果偏倚三角形。

此函数生成一个右下三角矩阵，用于表示因果注意力偏差，并通过设置对角线偏移量来确保包含值与矩阵的右下角对齐。

构建此偏置的等效PyTorch代码为：

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，当 shape=(3,4) 时，生成的偏置张量将会是：

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

参数

size - 偏置矩阵的尺寸。

返回值

右下角三角因果偏差变体。

返回类型

CausalBias