解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编程之gui程序实现简单文件浏览器代码
Dec 08 Python
Python 循环语句之 while,for语句详解
Apr 23 Python
利用Python将数值型特征进行离散化操作的方法
Nov 06 Python
python将一个英文语句以单词为单位逆序排放的方法
Dec 20 Python
对python中xlsx,csv以及json文件的相互转化方法详解
Dec 25 Python
Python生成一个迭代器的实操方法
Jun 18 Python
华为2019校招笔试题之处理字符串(python版)
Jun 25 Python
使用python对多个txt文件中的数据进行筛选的方法
Jul 10 Python
django项目环境搭建及在虚拟机本地创建django项目的教程
Aug 02 Python
python实现ip地址查询经纬度定位详解
Aug 30 Python
python 实现矩阵按对角线打印
Nov 29 Python
如何用python识别滑块验证码中的缺口
Apr 01 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
基于php设计模式中工厂模式详细介绍
2013/05/15 PHP
zf框架的db类select查询器join链表使用示例(zend框架)
2014/03/14 PHP
php给一组指定关键词添加span标签的方法
2015/03/31 PHP
PHP开发中解决并发问题的几种实现方法分析
2017/11/13 PHP
PHP设计模式(四)原型模式Prototype实例详解【创建型】
2020/05/02 PHP
seajs中模块的解析规则详解和模块使用总结
2014/03/12 Javascript
jQuery验证元素是否为空的两种常用方法
2015/03/17 Javascript
JavaScript实现信用卡校验方法
2015/04/07 Javascript
在JavaScript应用中实现延迟加载的方法
2015/06/25 Javascript
基于gulp合并压缩Seajs模块的方式说明
2016/06/14 Javascript
jQuery实现链接的title快速出现的方法
2017/02/20 Javascript
原生javascript移动端滑动banner效果
2017/03/10 Javascript
浅谈函数调用的不同方式,以及this的指向
2017/09/17 Javascript
微信小程序项目实践之九宫格实现及item跳转功能
2018/07/19 Javascript
小程序开发基础之view视图容器
2018/08/21 Javascript
Openlayers显示地理位置坐标的方法
2020/09/28 Javascript
解决vue项目中出现Invalid Host header的问题
2020/11/17 Javascript
[05:16]《大圣!大圣》——DOTA2新英雄齐天大圣配音李世宏老师专访
2016/12/13 DOTA
[41:54]2018DOTA2亚洲邀请赛 4.1 小组赛A组加赛 TNC vs Liquid
2018/04/03 DOTA
python使用点操作符访问字典(dict)数据的方法
2015/03/16 Python
Scrapy-redis爬虫分布式爬取的分析和实现
2017/02/07 Python
python 网络编程详解及简单实例
2017/04/25 Python
python批量导入数据进Elasticsearch的实例
2018/05/30 Python
Python实现的微信支付方式总结【三种方式】
2019/04/13 Python
Python面向对象之类的封装操作示例
2019/06/08 Python
Python谱减法语音降噪实例
2019/12/18 Python
Python while循环使用else语句代码实例
2020/02/07 Python
python 非线性规划方式(scipy.optimize.minimize)
2020/02/11 Python
HTML5之多线程(Web Worker)
2019/01/02 HTML / CSS
伦敦最有品味的百货:Liberty London
2016/11/12 全球购物
乐高奥地利官方商店:LEGO Shop AT
2019/07/16 全球购物
生日寿宴答谢词
2014/01/19 职场文书
乡镇领导班子批评与自我批评材料
2014/09/23 职场文书
2014年领导班子工作总结
2014/12/11 职场文书
文明单位创建材料
2014/12/24 职场文书
2016入党培训心得体会范文
2016/01/08 职场文书