Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中List的sort方法指南
Sep 01 Python
Python自动重试HTTP连接装饰器
Apr 28 Python
python jieba分词并统计词频后输出结果到Excel和txt文档方法
Feb 11 Python
python 接口测试response返回数据对比的方法
Feb 11 Python
pyqt5 lineEdit设置密码隐藏,删除lineEdit已输入的内容等属性方法
Jun 24 Python
Python中的 is 和 == 以及字符串驻留机制详解
Jun 28 Python
python简单实现矩阵的乘,加,转置和逆运算示例
Jul 10 Python
Pandas分组与排序的实现
Jul 23 Python
解决python中0x80072ee2错误的方法
Jul 19 Python
PyCharm vs VSCode,作为python开发者,你更倾向哪种IDE呢?
Aug 17 Python
Python爬虫Scrapy框架CrawlSpider原理及使用案例
Nov 20 Python
Python pygame实现中国象棋单机版源码
Jun 20 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
小偷PHP+Html+缓存
2006/11/25 PHP
PHP中创建空文件的代码[file_put_contents vs touch]
2012/01/20 PHP
PHP之APC缓存详细介绍 apc模块安装
2014/01/13 PHP
php多次include后导致全局变量global失效的解决方法
2015/02/28 PHP
php7安装mongoDB扩展的方法分析
2017/08/02 PHP
浅谈PHP实现大流量下抢购方案
2017/12/15 PHP
jQuery打印指定区域Html页面并自动分页
2014/07/04 Javascript
javascript检测两个数组是否相似
2015/05/19 Javascript
Jquery Ajax Error 调试错误的技巧
2015/11/20 Javascript
10个JavaScript中易犯小错误
2016/02/14 Javascript
使用Node.js处理前端代码文件的编码问题
2016/02/16 Javascript
JavaScript字符串常用的方法
2016/03/10 Javascript
AngularJS实现用户登录状态判断的方法(Model添加拦截过滤器,路由增加限制)
2016/12/12 Javascript
Vue.js系列之项目搭建(1)
2017/01/03 Javascript
详解Vue.js 2.0 如何使用axios
2017/04/21 Javascript
浅谈Vue2.0中v-for迭代语法的变化(key、index)
2018/03/06 Javascript
Vue CLI4 Vue.config.js标准配置(最全注释)
2020/06/05 Javascript
vue+openlayers绘制省市边界线
2020/12/24 Vue.js
微信小程序实现下拉加载更多商品
2020/12/29 Javascript
[49:29]LGD vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/18 DOTA
Python 的 Socket 编程
2015/03/24 Python
在Python操作时间和日期之asctime()方法的使用
2015/05/22 Python
python+Django实现防止SQL注入的办法
2019/10/31 Python
用python的turtle模块实现给女票画个小心心
2019/11/23 Python
Python 实现训练集、测试集随机划分
2020/01/08 Python
Python如何访问字符串中的值
2020/02/09 Python
python SOCKET编程基础入门
2021/02/27 Python
公司财务总监岗位职责
2013/12/14 职场文书
公益活动策划方案
2014/01/09 职场文书
优秀教师的感人事迹
2014/02/04 职场文书
餐饮业员工工作决心书
2014/03/11 职场文书
委托公证书
2014/04/08 职场文书
股东协议书
2014/04/14 职场文书
经营管理策划方案
2014/05/22 职场文书
Python实现简单的猜单词
2021/06/15 Python
据Python爬虫不靠谱预测可知今年双十一销售额将超过6000亿元
2021/11/11 Python