Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
浅析Python的web.py框架中url的设定方法
Jul 11 Python
如何利用python查找电脑文件
Apr 27 Python
dataframe 按条件替换某一列中的值方法
Jan 29 Python
python实现大文件分割与合并
Jul 22 Python
python mysql断开重连的实现方法
Jul 26 Python
python爬虫解决验证码的思路及示例
Aug 01 Python
Python判断字符串是否xx开始或结尾的示例
Aug 08 Python
python datetime中strptime用法详解
Aug 29 Python
python内置模块collections知识点总结
Dec 19 Python
PyTorch中的padding(边缘填充)操作方式
Jan 03 Python
python爬虫学习笔记之pyquery模块基本用法详解
Apr 09 Python
浅谈python 中的 type(), dtype(), astype()的区别
Apr 09 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
PHP中数组的三种排序方法分享
2012/05/07 PHP
php DOS攻击实现代码(附如何防范)
2012/05/29 PHP
提高PHP性能的编码技巧以及性能优化详细解析
2013/08/24 PHP
PHP实现超简单的SSL加密解密、验证及签名的方法示例
2017/08/28 PHP
jQuery boxy弹出层插件中文演示及使用讲解
2011/02/24 Javascript
代码触发js事件(click、change)示例应用
2013/12/13 Javascript
浅析IE10兼容性问题(frameset的cols属性)
2014/01/03 Javascript
javascript实例分享---具有立体效果的图片特效
2014/06/08 Javascript
js Object2String方便查看js对象内容
2014/11/24 Javascript
javascript中数组的定义及使用实例
2015/01/21 Javascript
JavaScript中数组的合并以及排序实现示例
2015/10/24 Javascript
jquery验证邮箱格式并显示提交按钮
2015/11/07 Javascript
用js读写cookie的简单方法(推荐)
2016/08/08 Javascript
jQuery实现图片轮播效果代码
2016/09/27 Javascript
基于Vue实现tab栏切换内容不断实时刷新数据功能
2017/04/13 Javascript
JS实现读取xml内容并输出到div中的方法示例
2018/04/19 Javascript
javascript将非数值转换为数值
2018/09/13 Javascript
教你如何编写Vue.js的单元测试的方法
2018/10/17 Javascript
关于JavaScript中异步/等待的用法与理解
2020/11/18 Javascript
自己使用总结Python程序代码片段
2015/06/02 Python
Python编程入门之Hello World的三种实现方式
2015/11/13 Python
常见的python正则用法实例讲解
2016/06/21 Python
Python学习小技巧之利用字典的默认行为
2017/05/20 Python
pycharm debug功能实现跳到循环末尾的方法
2018/11/29 Python
关于Python3 类方法、静态方法新解
2019/08/30 Python
Python中断多重循环的几种方式详解
2020/02/10 Python
python实现图像拼接功能
2020/03/23 Python
解决python 执行sql语句时所传参数含有单引号的问题
2020/06/06 Python
python中str内置函数用法总结
2020/12/27 Python
HTML5之SVG 2D入门10—滤镜的定义及使用
2013/01/30 HTML / CSS
美国生日蛋糕店:Bake Me A Wish!
2017/02/08 全球购物
具有防紫外线功能的高性能钓鱼服装:Hook&Tackle
2018/08/16 全球购物
珍惜资源的建议书
2014/08/26 职场文书
电力工程合作意向书
2015/05/11 职场文书
董事长秘书工作总结
2015/08/14 职场文书
Apache Hudi 加速传统的批处理模式
2022/04/24 Servers