因果上左偏置

torch.nn.attention.bias.causal_upper_left(*size)[源代码]

创建一个左上角的因果偏差。

此函数生成一个左上三角矩阵，用于表示因果注意力偏差，并将对角线偏移设置为使包含值与矩阵的左上角对齐。这相当于scaled_dot_product_attention中的is_causal=True参数。

构建此偏置的等效PyTorch代码为：

torch.tril(torch.ones(size, dtype=torch.bool))

例如，当 shape=(3,4) 时，生成的偏置张量将会是：

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]