有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用新浪微博api上传图片到微博示例
Jan 10 Python
Python常用正则表达式符号浅析
Aug 13 Python
python自动化测试之从命令行运行测试用例with verbosity
Sep 28 Python
python分析apache访问日志脚本分享
Feb 26 Python
python开发利器之ulipad的使用实践
Mar 16 Python
Python基于分水岭算法解决走迷宫游戏示例
Sep 26 Python
Python简单获取二维数组行列数的方法示例
Dec 21 Python
pyspark给dataframe增加新的一列的实现示例
Apr 24 Python
django queryset 去重 .distinct()说明
May 19 Python
在Mac中配置Python虚拟环境过程解析
Jun 22 Python
tensorflow 大于某个值为1,小于为0的实例
Jun 30 Python
pytho matplotlib工具栏源码探析一之禁用工具栏、默认工具栏和工具栏管理器三种模式的差异
Feb 25 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
需要发散思维学习PHP
2009/06/29 PHP
php多文件上传实现代码
2014/02/20 PHP
php定时计划任务与fsockopen持续进程实例
2014/05/23 PHP
php下载文件超时时间的设置方法
2016/10/06 PHP
Node.js:Windows7下搭建的Node.js服务(来玩玩服务器端的javascript吧,这可不是前端js插件)
2011/06/27 Javascript
最佳6款用于移动网站开发的jQuery 图片滑块插件小结
2012/07/20 Javascript
JavaScript获取flash对象与网上的有所不同
2014/04/21 Javascript
JavaScript通过this变量快速找出用户选中radio按钮的方法
2015/03/23 Javascript
AngularJS 简单应用实例
2016/07/28 Javascript
angular route中使用resolve在uglify压缩后问题解决
2016/09/21 Javascript
jQuery插件HighCharts绘制2D金字塔图效果示例【附demo源码下载】
2017/03/09 Javascript
详解vue2.0脚手架的webpack 配置文件分析
2017/05/27 Javascript
解决循环中setTimeout执行顺序的问题
2018/06/20 Javascript
解决vue项目使用font-awesome,build后路径的问题
2018/09/01 Javascript
OpenLayers3实现地图显示功能
2020/09/25 Javascript
Python实现微信公众平台自定义菜单实例
2015/03/20 Python
简单谈谈python中的Queue与多进程
2016/08/25 Python
Python脚本实现自动将数据库备份到 Dropbox
2017/02/06 Python
tensorflow 使用flags定义命令行参数的方法
2018/04/23 Python
python3中zip()函数使用详解
2018/06/29 Python
Python3.6中Twisted模块安装的问题与解决
2019/04/15 Python
Python实现九宫格式的朋友圈功能内附“马云”朋友圈
2019/05/07 Python
Python网络编程之使用TCP方式传输文件操作示例
2019/11/01 Python
Pycharm最新激活码2019(推荐)
2019/12/31 Python
Python如何使用OS模块调用cmd
2020/02/27 Python
对python中return与yield的区别详解
2020/03/12 Python
python包的导入方式总结
2021/03/02 Python
德国内衣、泳装和睡衣网上商店:Bigsize Dessous
2018/07/09 全球购物
北美最大的参茸药食商城:德成行
2020/12/06 全球购物
毕业生怎样写好自荐信
2013/11/11 职场文书
学校介绍信范文
2014/01/14 职场文书
现金出纳岗位职责
2014/03/15 职场文书
绿色学校实施方案
2014/03/31 职场文书
2015年学生资助工作总结
2015/05/25 职场文书
运动会班级前导词
2015/07/20 职场文书
Win10玩csgo闪退如何解决?Win10玩csgo闪退的解决方法
2022/07/23 数码科技