SDP 后端

类 torch.nn.attention.SDPBackend

一个类似于枚举的类,包含了不同的后端来支持缩放点积注意力。该后端类设计用于与 sdpa_kernel 上下文管理器一起使用。

下列枚举可用:
  • 错误:在尝试确定后端时出现错误。

  • MATH: 支持缩放点积注意力的数学计算模块。

  • FLASH_ATTENTION: 用于缩放点积注意力的快速注意后端。

  • EFFICIENT_ATTENTION: 用于缩放点积注意力的高效注意力后端。

  • CUDNN_ATTENTION:用于缩放点积注意力的 cuDNN 后端。

更多细节请参见torch.nn.attention.sdpa_kernel()

警告

此类处于Beta阶段,可能随时发生变化。
属性名
本页目录