CosineAnnealingLR

类torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0.0, last_epoch=-1, verbose='deprecated')[源代码]

采用余弦退火调度来设置每个参数组的学习率。

$\eta_{max}$ 设置为初始学习率，而 $T_{cur}$ 表示自上次重启以来的周期数（在 SGDR 中）：

\begin{aligned} \eta_t & = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 + \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right), & T_{cur} \neq (2k+1)T_{max}; \\ \eta_{t+1} & = \eta_{t} + \frac{1}{2}(\eta_{max} - \eta_{min}) \left(1 - \cos\left(\frac{1}{T_{max}}\pi\right)\right), & T_{cur} = (2k+1)T_{max}. \end{aligned}

当 last_epoch=-1 时，将初始学习率设置为 lr。需要注意的是，由于调度是递归定义的，因此在此调度器之外的其他操作可能会同时修改学习率。如果学习率仅由该调度器控制，则每一步的学习率将会变为：

\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 + \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right)

这在SGDR: 带暖启动的随机梯度下降中被提出。需要注意的是，这里只实现了 SGDR 的余弦退火部分，而没有实现重启部分。

参数

optimizer (Optimizer) — 包裹后的优化器。
T_max (int) – 最大迭代次数。
eta_min (float) – 最小学习率。默认值为 0。
last_epoch (int) – 表示最后一个纪元的索引。默认值为 -1。
verbose (bool | str) –

如果设置为True，则会对每次更新在标准输出中打印一条消息。默认值为False。

自版本 2.2 起已弃用：verbose 已被弃用。请使用 get_last_lr() 来访问学习率。

get_last_lr()

返回当前调度器计算出的最新学习率。

load_state_dict(state_dict)

加载调度器的状态。

print_lr(is_verbose, group, lr, epoch=None)

显示当前学习率。

自版本 2.4 起已弃用：print_lr() 已被弃用，请使用 get_last_lr() 来访问学习率。

state_dict()

返回调度器的状态，形式为 dict。

它包含了 self.__dict__ 中每个非优化器变量的条目。

step(epoch=None) 由于上述代码格式已经较为简洁，直接翻译可能难以形成自然语言描述。但根据上下文和意图，可以尝试如下表述：进行一个训练步骤，参数`epoch`可选设置为`None`。

执行一个步骤。