我的网站

耀世注册

联系我们

地址:海南省海口市

邮编:570521

电话:0898-08980898

传真:0898-1230-5678

行业新闻

当前位置: 首页 > 耀世资讯 > 行业新闻

Pytorch基础(十)——优化器(SGD,Adagrad,RMSprop,Adam,LBFGS等)

添加时间:2024-08-26 05:35:00

Pytorch中优化器的目的:将损失函数计算出的差值Loss减小。
优化过程:优化器计算网络参数的梯度,然后使用一定的算法策略来对参数进行计算,用新的参数来重新进行训练,最终降低Loss。
其中官网提供了13种优化算法,其中主要的有5种:SGD(stochastic gradient descent 随机梯度下降),Adagrad(自适应梯度算法),Adam(Adaptive Moment Estimation 自适应矩估计),RMSprop(Root Mean Square Prop 均方根),LBFGS(Limited-memory Broyden–Fletcher–Goldfarb–Shanno 有限内存中进行BFGS算法),其他均为改进算法,比如Adadelta是Adagrad的改进算法。
其中还有很多算法细节可能后续会慢慢补充。

2.1 SGD算法

SGD算法可实现随机梯度下降(可选动量)。
torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)
params:可迭代参数以优化或定义参数组。
lr:初始学习率,可随着训练过程不断调整学习率。
momentum:动量,通常设置为0.9,0.8。momentum又称为动量梯度下降。
dampening:动量阻尼,默认为0。
weight_decay:权值衰减系数,即L2正则化。
nesterov:启用牛顿动量。Nesterov是Momentum的变种,就是梯度的计算方法有所不同,先用当前的速度v更新一遍权重θ,然后用更新参数p计算梯度g。
动量法:
在这里插入图片描述
nesterov:
在这里插入图片描述

 

2.2、Adagrad

Adagrad算法可以自适应的给所有的参数分配学习率,学习率的大小与梯度的大小成反比。
torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0, initial_accumulator_value=0, eps=1e-10)
lr_decay:学习率衰减因子,默认为0。
eps :将其添加到分母以提高数值稳定性,默认值为1e-10,其主要的作用是避免分母为0.
在这里插入图片描述

 

2.3 RMSprop

RMSprop算法是Adagrad的改进形式,特点是使用指数衰减滑动平均来更新梯度平方,以避免Adagrad累计梯度平方导致学习率过小的缺点。
torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False)
alpha:平滑常数,默认为0.99。
centered:如果为真,计算中心 RMSProp,梯度通过其方差的估计进行归一化。
在这里插入图片描述

由官网给出的公式可以看出,用α的值来更新梯度平方。

 

2.4 Adam

Adam算法结合了RMSProp和Momentum的算法思路,由公式可以看出,分别用m和v两个动量来对梯度进行计算,可以说是目前应用相当广泛的优化器算法。
betas:用于计算梯度及其平方的运行平均值的系数,默认值为(0.9, 0.999)。
amsgrad:是否使用论文 On the Convergence of Adam and Beyond 中该算法的 AMSGrad 变体,默认值为false。
在这里插入图片描述

 

2.5 LBFGS

LBFGS是BFGS四位大佬一起开发的一个算法,可以有效节省系统内存,缩小BFGS算法迭代产生的n维D矩阵,只保留部分步数。
pytorch中也可以使用改算法,但需要注意:
1:此优化器不支持每个参数选项和参数组(只能有一个)。
2:现在所有参数都必须在一个设备上。
3:这是一个非常占用内存的优化器(它需要额外的 param_bytes * (history_size + 1) 字节)。 如果它不适合内存尝试减少历史记录大小,或使用不同的算法。
torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-07, tolerance_change=1e-09, history_size=100, line_search_fn=None)
max_iter:每个优化步骤的最大迭代次数,默认值20。
max_eval:每个优化步骤的最大函数评估次数,默认值max_iter * 1.25.
tolerance_grad:一阶最优性的终止容限,默认值1e-5。
tolerance_change:函数值/参数更改的终止容差,默认值1e-9。
history_size:更新历史大小 。
line_search_fn:“strong_wolfe”或“None” 。
详细原理部分可见:
一文读懂L-BFGS算法

 
 

通俗易懂理解(梯度下降)优化算法:Momentum、AdaGrad、RMSProp、Adam

地址:海南省海口市电话:0898-08980898传真:0898-1230-5678

Copyright © 2012-2018 耀世娱乐-耀世注册登录入口 版权所有ICP备案编号:琼ICP备xxxxxxxx号

平台注册入口