SDP 后端
- 类 torch.nn.attention.SDPBackend
-
一个类似于枚举的类,包含了不同的后端来支持缩放点积注意力。该后端类设计用于与 sdpa_kernel 上下文管理器一起使用。
- 下列枚举可用:
-
-
错误:在尝试确定后端时出现错误。
-
MATH: 支持缩放点积注意力的数学计算模块。
-
FLASH_ATTENTION: 用于缩放点积注意力的快速注意后端。
-
EFFICIENT_ATTENTION: 用于缩放点积注意力的高效注意力后端。
-
CUDNN_ATTENTION:用于缩放点积注意力的 cuDNN 后端。
-
更多细节请参见
torch.nn.attention.sdpa_kernel()
。警告
此类处于Beta阶段,可能随时发生变化。- 属性名