LBFGS
- classtorch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-07, tolerance_change=1e-09, history_size=100, line_search_fn=None)[源代码]
-
实现L-BFGS算法。
深受minFunc的影响。
警告
此优化器不支持为每个参数设置选项和分组（只能有一个参数组）。
警告
目前，所有参数都必须在同一台设备上设置。未来将会进行改进。
注意
这是一个非常消耗内存的优化器（它需要额外的
param_bytes * (history_size + 1)字节）。如果内存不足，尝试减少历史记录大小或使用其他算法。- 参数
-
-
params (可迭代对象) – 需要优化的参数列表。参数必须为实数。
-
lr (float) – 学习率，默认值为 1
-
max_iter (int) – 每次优化步骤中最大的迭代次数（默认为20）
-
max_eval (int) – 每次优化步骤中函数评估的最大次数（默认值：max_iter * 1.25）。
-
tolerance_grad (float) – 一阶最优性的终止容限（默认值：1e-7）。
-
tolerance_change (float) – 控制函数值或参数变化的终止容差（默认为 1e-9）。
-
history_size (int) – 更新历史记录的大小（默认为 100）。
-
line_search_fn (str) – 可以是 'strong_wolfe' 或者 None（默认为 None）。
-
- add_param_group(param_group)
-
将一个参数组添加到
Optimizer的param_groups中。在微调预训练网络时，这非常有用，因为可以将冻结的层设为可训练状态，并随着训练进度将其添加到
Optimizer中。- 参数
-
param_group (dict) – 指定需要优化的张量及其特定的优化选项。
- load_state_dict(state_dict)
-
加载优化器的状态。
- 参数
-
state_dict (dict) – 优化器的状态。应为调用
state_dict()返回的对象。
- register_load_state_dict_post_hook(hook, prepend=False)
-
注册一个在调用
load_state_dict()之后触发的 post-hook。它应具有以下签名：hook(optimizer) -> None
optimizer参数是指正在使用的优化器实例。在调用
self.load_state_dict()之后，该钩子将被调用，并使用参数self。注册的钩子可以在load_state_dict加载了state_dict之后执行后处理。- 参数
-
-
hook (Callable) – 用户自定义的要注册的钩子。
-
prepend (bool) – 如果为 True，则提供的后置钩子
hook将在调用load_state_dict时，在所有已注册的后置钩子之前触发。否则，该钩子将在所有已注册的后置钩子之后触发。（默认值：False）
-
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)
-
注册一个在调用
load_state_dict()之前被调用的load_state_dict预处理钩子。该钩子应具有以下签名：hook(optimizer, state_dict) -> state_dict or None
optimizer参数是正在使用的优化器实例，而state_dict参数是用户传递给load_state_dict的state_dict浅拷贝。钩子可以就地修改state_dict或者可选地返回一个新的state_dict。如果返回了一个新的state_dict，它将被加载到优化器中。该钩子在调用
self.load_state_dict()之前会被调用，并使用参数self和state_dict。注册的钩子可以在load_state_dict调用前用于执行预处理。- 参数
-
-
hook (Callable) – 用户自定义的要注册的钩子。
-
prepend (bool) – 如果为 True，提供的
hook将在调用load_state_dict之前触发所有已注册的预处理钩子。否则，该hook将在所有已注册的预处理钩子之后触发。（默认值：False）
-
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)
-
注册一个状态字典的后置钩子，在调用
state_dict()之后会被调用。它应具有如下签名：
hook(optimizer, state_dict) -> state_dict or None
在生成
self的state_dict之后，该钩子将被调用，并使用self和state_dict作为参数。钩子可以就地修改state_dict或选择返回一个新的state_dict。注册的钩子可以在返回之前对state_dict执行后处理。- 参数
-
-
hook (Callable) – 用户自定义的要注册的钩子。
-
prepend (bool) – 如果为 True，则提供的 post
hook将在所有已注册的 post-hooks 之前触发。否则，提供的hook将在所有已注册的 post-hooks 之后触发。（默认值：False）
-
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)
-
注册一个在调用
state_dict()之前执行的状态字典预处理钩子。它应具有如下签名：
hook(optimizer) -> None
optimizer参数是正在使用的优化器实例。在调用self.state_dict()方法之前，会将self作为参数传递给钩子。注册的钩子可以在调用state_dict之前执行预处理。- 参数
-
-
hook (Callable) – 用户自定义的要注册的钩子。
-
prepend (bool) – 如果为 True，则提供的
hook将在所有已注册的预处理钩子之前触发。否则，它将在所有已注册的预处理钩子之后触发。（默认值：False）
-
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)
-
注册一个在优化器步骤之后调用的后处理钩子。
它应具有如下签名：
hook(optimizer, args, kwargs) -> None
optimizer参数是指正在使用的优化器实例。- 参数
-
hook (Callable) – 用户自定义的要注册的钩子。
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)
-
注册一个在优化器步骤执行前被调用的预处理钩子。
它应具有如下签名：
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer参数是指正在使用的优化器实例。如果预处理钩子修改了args和kwargs，则会返回一个新的包含修改后参数的元组，即新的new_args和new_kwargs。- 参数
-
hook (Callable) – 用户自定义的要注册的钩子。
- 返回值
-
一个可以通过调用
handle.remove()移除添加的钩子的句柄 - 返回类型
-
torch.utils.hooks.RemovableHandle
- state_dict()
-
以
dict形式返回优化器的状态。它包含了两个条目：
-
-
state: 一个包含当前优化状态的 Dict。 -
虽然在不同的优化器类之间存在差异，但也有一些共同的特点。例如，状态是按参数进行保存的，并且不会保存参数本身。
state是一个字典，将参数ID映射到包含每个参数对应状态信息的字典。
-
-
-
param_groups: 包含所有参数组的列表，每个参数组内 -
参数组是一个字典。每个参数组包含了特定于优化器的元数据（如学习率和权重衰减），以及该组内参数的ID列表。
-
注意：参数 ID 虽然看起来像索引，但实际上只是用于将状态与 param_group 关联的标识符。在从 state_dict 加载时，优化器会按顺序将 param_group 中的
params（整数 ID）和优化器中的param_groups（实际的nn.Parameters）进行 zip 操作以匹配状态，而无需额外验证。返回的 state 字典可能看起来像这样：
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] } ] } -
- step(closure)[源代码]
-
执行一步优化。
- 参数
-
closure (Callable) – 一个用于重新评估模型并返回损失的闭包。
- zero_grad(set_to_none=True)
-
将所有优化的
torch.Tensor的梯度重置。- 参数
-
set_to_none (bool) – 代替将梯度设置为零，将其设置为 None。这通常会减少内存占用，并可以适度提高性能。然而，它改变了某些行为：1. 当用户尝试访问梯度并执行手动操作时，None 属性或全为0的 Tensor 的表现不同。2. 如果用户请求
zero_grad(set_to_none=True)后跟一次反向传播，对于未接收到梯度的参数，.grads 保证为 None。3.torch.optim优化器在梯度为0或 None 的情况下有不同的行为：在一个情况下它使用零梯度进行步骤，在另一个情况下则完全跳过该步骤。