有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python类和函数中使用静态变量的方法
May 09 Python
使用Python写个小监控
Jan 27 Python
使用Python微信库itchat获得好友和群组已撤回的消息
Jun 24 Python
pandas筛选某列出现编码错误的解决方法
Nov 07 Python
Python实现Singleton模式的方式详解
Aug 08 Python
Python 异步协程函数原理及实例详解
Nov 13 Python
Python获取二维数组的行列数的2种方法
Feb 11 Python
在python中求分布函数相关的包实例
Apr 15 Python
Python三维绘图之Matplotlib库的使用方法
Sep 20 Python
python基础之停用词过滤详解
Apr 21 Python
python简单验证码识别的实现过程
Jun 20 Python
Python中的程序流程控制语句
Feb 24 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
5.PHP的其他功能
2006/10/09 PHP
php获取ajax的headers方法与内容实例
2017/12/27 PHP
PHP实现统计代码行数小工具
2019/09/19 PHP
个人总结的一些关于String、Function、Array的属性和用法
2007/01/10 Javascript
javascript数组使用调用方法汇总
2007/12/08 Javascript
js中escape对应的C#解码函数 UrlDecode
2012/12/16 Javascript
给jQuery方法添加回调函数一款插件的应用
2013/01/21 Javascript
JS对HTML标签select的获取、添加、删除操作
2013/10/17 Javascript
JS控制输入框内字符串长度
2014/05/21 Javascript
jQuery使用正则表达式替换dom元素标签用法示例
2017/01/16 Javascript
JS设计模式之惰性模式(二)
2017/09/29 Javascript
基于Vue制作组织架构树组件
2017/12/06 Javascript
vue刷新页面时去闪烁提升用户体验效果的实现方法
2018/12/10 Javascript
微信小程序下拉菜单效果的实例代码
2019/05/14 Javascript
vue2 中二级路由高亮问题及配置方法
2019/06/10 Javascript
html2canvas属性和使用方法以及如何使用html2canvas将HTML内容写入Canvas生成图片
2020/01/12 Javascript
Vuex的各个模块封装的实现
2020/06/05 Javascript
JS highcharts动态柱状图原理及实现
2020/10/16 Javascript
vue实现简单的登录弹出框
2020/10/26 Javascript
Python使用Socket(Https)Post登录百度的实现代码
2012/05/18 Python
使用python统计文件行数示例分享
2014/02/21 Python
python在Windows8下获取本机ip地址的方法
2015/03/14 Python
Python 功能和特点(新手必学)
2015/12/30 Python
详解Python文件修改的两种方式
2019/08/22 Python
彻底搞懂 python 中文乱码问题(深入分析)
2020/02/28 Python
django美化后台django-suit的安装配置操作
2020/07/12 Python
美国隐形眼镜网:Major Lens
2018/02/09 全球购物
Marlies Dekkers内衣法国官方网上商店:国际知名的荷兰内衣品牌
2019/03/18 全球购物
Bed Bath & Beyond加拿大官网:购买床上用品、浴巾、厨房电器等
2019/10/04 全球购物
abstract class和interface有什么区别?
2012/01/03 面试题
森林防火工作方案
2014/02/14 职场文书
应聘编辑自荐信范文
2014/03/12 职场文书
3.12植树节活动总结2014
2014/03/13 职场文书
产品质量承诺书范文
2014/03/27 职场文书
2015年物资管理工作总结
2015/05/20 职场文书
食堂管理制度范本
2015/08/04 职场文书