双层机制

torch.autograd.forward_ad.dual_level[源代码]

这是一个用于正向自动微分的上下文管理器,在此过程中所有的正向自动微分计算都必须在dual_level上下文中完成。

注意

dual_level 上下文会适时地进入和退出对偶级别,以此来控制当前的前向自动微分级别。这是此 API 中其他函数默认采用的方式。

目前我们不计划支持嵌套的 dual_level 上下文,因此只支持单层前向自动微分。要计算更高阶的前向梯度,可以使用torch.func.jvp()

示例:

>>> x = torch.tensor([1])
>>> x_t = torch.tensor([1])
>>> with dual_level():
...     inp = make_dual(x, x_t)
...     # Do computations with inp
...     out = your_fn(inp)
...     _, grad = unpack_dual(out)
>>> grad is None
False
>>> # After exiting the level, the grad is deleted
>>> _, grad_after = unpack_dual(out)
>>> grad is None
True

请参阅前向模式AD教程,以了解如何使用此API的详细步骤。

本页目录