keras实现多GPU或指定GPU的使用介绍


Posted in Python onJune 17, 2020

1. keras新版本中加入多GPU并行使用的函数

下面程序段即可实现一个或多个GPU加速:

注意:使用多GPU加速时,Keras版本必须是Keras2.0.9以上版本

from keras.utils.training_utils import multi_gpu_model  #导入keras多GPU函数
import VGG19   #导入已经写好的函数模型,例如VGG19

if G <= 1:
  print("[INFO] training with 1 GPU...")
  model = VGG19()

# otherwise, we are compiling using multiple GPUs
else:
  print("[INFO] training with {} GPUs...".format(G))
  # we'll store a copy of the model on *every* GPU and then combine
  # the results from the gradient updates on the CPU
  with tf.device("/cpu:0"):
    # initialize the model
    model1 = VGG19()
    # make the model parallel(if you have more than 2 GPU)
    model = multi_gpu_model(model1, gpus=G)

2.指定使用某个GPU

首先在终端查看主机中GPU编号:

watch -n -9 nvidia-smi

查询结果如下所示:

keras实现多GPU或指定GPU的使用介绍

显示主机中只有一块GPU,编号为0

2.1 下面方法是直接在终端运行时加入相关语句实现指定GPU的使用

export CUDA_VISIBLE_DEVICES=0 python test.py
# 表示运行test.py文件时,使用编号为0的GPU卡
export CUDA_VISIBLE_DEVICES=0,2 python test.py
# 表示运行test.py文件时,使用编号为0和2的GPU卡

2.2 下面方法是在Python程序中添加

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"

补充知识:踩坑记----large batch_size cause low var_acc

有时候,我们在训练模型前期,会出现很高的train_acc(训练准确率),但var_acc(验证准确率)却很低。这往往是因为我们模型在训练过程中已经进入局部最优,或者出现过拟合的现象。造成这种情况有多种原因,我只提出以下几点,有补充的可以在下面留言,我补充。

(1).训练数据分布不均匀,可能你的训练数据某一类别占据了大多数,比如95%的数据为苹果,5%的数据为其他类别,那么模型为了拟合训练数据,则模型会偏袒于把识别结果归属于苹果,而验证集的数据是正常的,那么便会出现高train_acc,低val_acc。

(2).训练数据没有shuffle,那么整个batch里面将会是同一个类别数据,比如都为苹果的图片,那么训练一个batch,那么模型输出将会往这一类别靠拢,会形成一个很高的acc的假象,但这个模型泛化能力却很低,因为这个模型都只会为了拟合这批同类的数据。

(3).训练集跟验证集的预处理不一致,这个是细节问题,输入的图片分布不一致,那么必然会影响到验证结果。

(4).模型过于复杂,造成过拟合现象,特别是在于训练数据集不多的情况下,更容易出现过拟合。

(5).这个也是最难发现的,就是过大的batch_size,造成训练前期,模型还未收敛,出现很高的train_acc,却有很低的val_acc,亲测,在120个类别,参数只有七万的分类模型中,在batch-size等于64的情况下,在第二个epoch时,train_acc达到80%,val_acc却只有6%,train_loss跟val_loss也是相差很大,而在batch_size在等于8的情况下,在第二个epoch,train_acc跟val_acc皆能达到60%,且还有上升的趋势。至于为什么,个人认为,模型在大的batch_size的情况下,模型泛化能力下降,且更难拟合,每个epoch所包含的step也更少,且在adam的优化算法,前期的学习率较高,模型出现了振荡,一直在局部最优值徘徊,具体原因不知。

接下来分析下,batc_size对模型的影响:

large batch_size:

好处:训练的更快,每一step都包含更多的训练集,模型准确率会更高,不容易受到噪声的影响,稳定性更好。

small batch_size:

好处:不容易陷入局部最优,泛化能力更强。

总结:

(1).large batch_size,虽然训练模型的训练误差会更低,但往往在execute的时候,效果却不尽人意。

(2).在时间允许的情况下,建议batch_size在32或以下。

以上这篇keras实现多GPU或指定GPU的使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python局域网ip扫描示例分享
Apr 03 Python
使用python实现拉钩网上的FizzBuzzWhizz问题示例
May 05 Python
Python语言的12个基础知识点小结
Jul 10 Python
Python fileinput模块使用介绍
Nov 30 Python
简单说明Python中的装饰器的用法
Apr 24 Python
python一行sql太长折成多行并且有多个参数的方法
Jul 19 Python
Python实现的括号匹配判断功能示例
Aug 25 Python
Django项目基础配置和基本使用过程解析
Nov 25 Python
使用Python制作新型冠状病毒实时疫情图
Jan 28 Python
keras实现多GPU或指定GPU的使用介绍
Jun 17 Python
Python调用shell cmd方法代码示例解析
Jun 18 Python
Python filter过滤器原理及实例应用
Aug 18 Python
Python字符串格式化常用手段及注意事项
Jun 17 #Python
python代码区分大小写吗
Jun 17 #Python
python代码中怎么换行
Jun 17 #Python
Python bisect模块原理及常见实例
Jun 17 #Python
浅谈keras2 predict和fit_generator的坑
Jun 17 #Python
python能在浏览器能运行吗
Jun 17 #Python
python的pip有什么用
Jun 17 #Python
You might like
PHP管理内存函数 memory_get_usage()使用介绍
2012/09/23 PHP
学习php分页代码实例
2013/10/24 PHP
Linux平台PHP5.4设置FPM线程数量的方法
2016/11/09 PHP
windows环境下使用Composer安装ThinkPHP5
2018/05/18 PHP
jQuery 改变CSS样式基础代码
2010/02/11 Javascript
js实现鼠标经过时图片滚动停止的方法
2015/02/16 Javascript
jquery分析文本里url或邮件地址为真实链接的方法
2015/06/20 Javascript
Vue 2.0在IE11中打开项目页面空白的问题解决
2017/07/16 Javascript
前端主流框架vue学习笔记第二篇
2017/07/26 Javascript
ES6新增的math,Number方法
2017/08/06 Javascript
JS一个简单的注册页面实例
2017/09/05 Javascript
小程序实现上下移动切换位置
2019/09/23 Javascript
JsonServer安装及启动过程图解
2020/02/28 Javascript
vue-quill-editor 自定义工具栏和自定义图片上传路径操作
2020/08/03 Javascript
解决element-ui的下拉框有值却无法选中的情况
2020/11/07 Javascript
ESLint 是如何检查 .vue 文件的
2020/11/30 Vue.js
pyside写ui界面入门示例
2014/01/22 Python
详解Python之unittest单元测试代码
2018/01/24 Python
django启动uwsgi报错的解决方法
2018/04/08 Python
如何优雅地处理Django中的favicon.ico图标详解
2018/07/05 Python
python得到一个excel的全部sheet标签值方法
2018/12/10 Python
pandas 使用均值填充缺失值列的小技巧分享
2019/07/04 Python
python 3.6.7实现端口扫描器
2019/09/04 Python
python3.7+selenium模拟淘宝登录功能的实现
2020/05/26 Python
python实现录音功能(可随时停止录音)
2020/10/26 Python
Desigual美国官方网站:西班牙服装品牌
2019/03/29 全球购物
如何将整数int转换成字串String
2014/03/21 面试题
我们在web应用开发过程中经常遇到输出某种编码的字符,如iso8859-1等,如何输出一个某种编码的字符串?
2014/03/30 面试题
一套中级Java程序员笔试题
2015/01/14 面试题
自动化系在校本科生求职信
2013/10/23 职场文书
电钳工人个人求职信
2014/05/10 职场文书
学校法制宣传月活动总结
2014/07/03 职场文书
国际金融专业自荐信
2014/07/05 职场文书
2016年共产党员公开承诺书
2016/03/24 职场文书
nginx配置虚拟主机的详细步骤
2021/07/21 Servers
python基础之函数的定义和调用
2021/10/24 Python