Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用wxPython获取系统剪贴板中的数据的教程
May 06 Python
Python编程之gui程序实现简单文件浏览器代码
Dec 08 Python
pandas.DataFrame 根据条件新建列并赋值的方法
Apr 08 Python
python 自动轨迹绘制的实例代码
Jul 05 Python
PyTorch中Tensor的拼接与拆分的实现
Aug 18 Python
解决pycharm安装第三方库失败的问题
May 09 Python
python 解决pycharm运行py文件只有unittest选项的问题
Sep 01 Python
python 利用opencv实现图像网络传输
Nov 12 Python
python从ftp获取文件并下载到本地
Dec 05 Python
python如何发送带有附件、正文为HTML的邮件
Feb 27 Python
python小程序之飘落的银杏
Apr 17 Python
tensorflow中的梯度求解及梯度裁剪操作
May 26 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
PHP 使用header函数设置HTTP头的示例解析 表头
2013/06/17 PHP
win7下memCache的安装过程(具体操作步骤)
2013/06/28 PHP
php实现自定义中奖项数和概率的抽奖函数示例
2017/05/26 PHP
Laravel框架生命周期与原理分析
2018/06/12 PHP
JS与框架页的操作代码
2010/01/17 Javascript
JavaScript中去掉数组中的重复值的实现方法
2011/08/03 Javascript
jQuery中eq()方法用法实例
2015/01/05 Javascript
原生js实现轮播图的示例代码
2017/02/20 Javascript
jQuery UI Grid 模态框中的表格实例代码
2017/04/01 jQuery
详解NodeJs开发微信公众号
2018/05/25 NodeJs
vue-cli 2.*中导入公共less文件的方法步骤
2018/11/22 Javascript
使用form-create动态生成vue自定义组件和嵌套表单组件
2019/01/18 Javascript
JS把字符串格式的时间转换成几秒前、几分钟前、几小时前、几天前等格式
2019/07/10 Javascript
中级前端工程师必须要掌握的27个JavaScript 技巧(干货总结)
2019/09/23 Javascript
vue element-ui el-date-picker限制选择时间为当天之前的代码
2019/11/07 Javascript
ES6新增的数组知识实例小结
2020/05/23 Javascript
nuxt 实现在其它js文件中使用store的方式
2020/11/05 Javascript
js仿淘宝放大镜效果
2020/12/28 Javascript
[01:50]2014DOTA2西雅图邀请赛 专访欢乐周宝龙
2014/07/08 DOTA
Centos Python2 升级到Python3的简单实现
2016/06/21 Python
Python处理命令行参数模块optpars用法实例分析
2018/05/31 Python
Python lxml解析HTML并用xpath获取元素的方法
2019/01/02 Python
python实现合并多个list及合并多个django QuerySet的方法示例
2019/06/11 Python
python实现鸢尾花三种聚类算法(K-means,AGNES,DBScan)
2019/06/27 Python
Python开发之基于模板匹配的信用卡数字识别功能
2020/01/13 Python
python:目标检测模型预测准确度计算方式(基于IoU)
2020/01/18 Python
Python类继承和多态原理解析
2020/02/05 Python
京东国际站:JOYBUY
2017/11/23 全球购物
世界上最大的罕见唱片、CD和音乐纪念品网上商店:991.com
2018/05/03 全球购物
Feelunique德国官方网站:欧洲最大的在线美容零售商
2019/07/20 全球购物
车间班组长岗位职责
2013/11/13 职场文书
如何写股份合作协议书
2014/09/11 职场文书
2015年网络管理员工作总结
2015/05/21 职场文书
大学生团支书竞选稿
2015/11/21 职场文书
Python包argparse模块常用方法
2021/06/04 Python
【DOTA2】当街暴打?PSG LGD vs VG - DPC 2022 WINTER TOUR CN
2022/04/02 DOTA