Pytorch 中的optimizer使用说明


Posted in Python onMarch 03, 2021

与优化函数相关的部分在torch.optim模块中,其中包含了大部分现在已有的流行的优化方法。

如何使用Optimizer

要想使用optimizer,需要创建一个optimizer 对象,这个对象会保存当前状态,并根据梯度更新参数。

怎样构造Optimizer

要构造一个Optimizer,需要使用一个用来包含所有参数(Tensor形式)的iterable,把相关参数(如learning rate、weight decay等)装进去。

注意,如果想要使用.cuda()方法来将model移到GPU中,一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后,model里面的参数已经不是之前的参数了。

示例代码如下:

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用参数

last_epoch代表上一次的epoch的值,初始值为-1。

单独指定参数

也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key,params包含它所属的参数列表。除此之外的key必须它的Optimizer(如SGD)里面有的参数。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率:

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面这段代码中model.base将会使用默认学习率0.01,而model.classifier的参数蒋欢使用0.001的学习率。

怎样进行单次优化

所有optimizer都实现了step()方法,调用这个方法可以更新参数,这个方法有以下两种使用方法:

optimizer.step()

多数optimizer里都可以这么做,每次用backward()这类的方法计算出了梯度后,就可以调用一次这个方法来更新参数。

示例程序:

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些优化算法会多次重新计算函数(比如Conjugate Gradient、LBFGS),这样的话你就要使用一个闭包(closure)来支持多次计算model的操作。

这个closure的运行过程是,清除梯度,计算loss,返回loss。

(这个我不太理解,因为这些优化算法不熟悉)

示例程序:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

优化算法

这里就不完整介绍documentation中的内容了,只介绍基类。具体的算法的参数需要理解它们的原理才能明白,这个改天单独来一篇文章介绍。

Optimizer

class torch.optim.Optimizer(params, defaults)

这是所有optimizer的基类。

注意,各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件,比如dictionary的iterator和set。

参数

params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。

defaults(dict)是一个dict,它包含了默认的的优化选项。

方法

add_param_group(param_group)

这个方法的作用是增加一个参数组,在fine tuning一个预训练的网络时有用。

load_state_dict(state_dict)

这个方法的作用是加载optimizer的状态。

state_dict()

获取一个optimizer的状态(一个dict)。

zero_grad()方法用于清空梯度。

step(closure)用于进行单次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

补充:pytorch里面的Optimizer和optimizer.step()用法

当我们想指定每一层的学习率时:

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率,model.classifier的参数将会使用1e-3的学习率,并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法,这个方法会更新所有的参数。它能按两种方式来使用:

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用这个函数。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。

这个闭包应当清空梯度,计算损失,然后返回。

例子:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
python创建和使用字典实例详解
Nov 01 Python
Eclipse和PyDev搭建完美Python开发环境教程(Windows篇)
Nov 16 Python
使用PyV8在Python爬虫中执行js代码
Feb 16 Python
python 字典中文key处理,读取,比较方法
Jul 06 Python
详解python使用turtle库来画一朵花
Mar 21 Python
python获取引用对象的个数方式
Dec 20 Python
Python爬虫程序架构和运行流程原理解析
Mar 09 Python
python是怎么被发明的
Jun 15 Python
Django+RestFramework API接口及接口文档并返回json数据操作
Jul 12 Python
python 实现端口扫描工具
Dec 18 Python
python 窃取摄像头照片的实现示例
Jan 08 Python
基于pycharm 项目和项目文件命名规则的介绍
Jan 15 Python
解决pytorch 的state_dict()拷贝问题
Mar 03 #Python
解决pytorch 保存模型遇到的问题
Mar 03 #Python
解决pytorch 模型复制的一些问题
Mar 03 #Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
Mar 03 #Python
pytorch 实现L2和L1正则化regularization的操作
Mar 03 #Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
Mar 03 #Python
python爬取youtube视频的示例代码
Mar 03 #Python
You might like
PHP学习资料汇总与网址
2007/03/16 PHP
php代码审计比较有意思的例子
2014/05/07 PHP
php通过array_merge()函数合并两个数组的方法
2015/03/18 PHP
PHP微信PC二维码登陆的实现思路
2017/07/13 PHP
[原创]PHP正则匹配中英文、数字及下划线的方法【用户名验证】
2017/08/01 PHP
ASP小贴士/ASP Tips javascript tips可以当桌面
2009/12/10 Javascript
jQuery实现html元素拖拽
2015/07/21 Javascript
JavaScript多图片上传案例
2015/09/28 Javascript
JavaScript使用DeviceOne开发实战(一) 配置和起步
2015/12/01 Javascript
Bootstrap按钮组件详解
2016/04/26 Javascript
Jquery Easyui搜索框组件SearchBox使用详解(19)
2016/12/17 Javascript
Vue.js render方法使用详解
2017/04/05 Javascript
微信小程序获取用户openId的实现方法
2017/05/23 Javascript
详谈for循环里面的break和continue语句
2017/07/20 Javascript
JS实现的按钮点击颜色切换功能示例
2017/10/19 Javascript
Vue实战之vue登录验证的实现代码
2017/10/31 Javascript
基于vue-cli 打包时抽离项目相关配置文件详解
2018/03/07 Javascript
利用hasOwnProperty给数组去重的面试题分享
2018/11/05 Javascript
vue-cli 3.x配置跨域代理的实现方法
2019/04/12 Javascript
vue移动端屏幕适配详解
2019/04/30 Javascript
Python中import导入上一级目录模块及循环import问题的解决
2016/06/04 Python
Python使用zip合并相邻列表项的方法示例
2018/03/17 Python
python实现n个数中选出m个数的方法
2018/11/13 Python
python 多个参数不为空校验方法
2019/02/14 Python
django数据模型on_delete, db_constraint的使用详解
2019/12/24 Python
浅析移动设备HTML5页面布局
2015/12/01 HTML / CSS
德国柯吉澳趣味家居:Koziol
2017/08/24 全球购物
商业计算机应用专业自荐书
2014/06/09 职场文书
2014年四风问题个人对照自查剖析材料
2014/09/15 职场文书
学生无故旷课检讨书
2014/09/20 职场文书
2014年小学校长工作总结
2014/12/08 职场文书
大学生个人年度总结范文
2015/02/15 职场文书
学雷锋感言
2015/08/03 职场文书
高二数学教学反思
2016/02/18 职场文书
使用pytorch实现线性回归
2021/04/11 Python
Nginx配置https的实现
2021/11/27 Servers