解决pytorch GPU 计算过程中出现内存耗尽的问题


Posted in Python onAugust 19, 2019

Pytorch GPU运算过程中会出现:“cuda runtime error(2): out of memory”这样的错误。通常,这种错误是由于在循环中使用全局变量当做累加器,且累加梯度信息的缘故,用官方的说法就是:"accumulate history across your training loop"。在默认情况下,开启梯度计算的Tensor变量是会在GPU保持他的历史数据的,所以在编程或者调试过程中应该尽力避免在循环中累加梯度信息。

下面举个栗子:

上代码:

total_loss=0
for i in range(10000):
  optimizer.zero_grad()
  output=model(input)
  loss=criterion(output)
  loss.backward()
  optimizer.step()
  total_loss+=loss
  #这里total_loss是跨越循环的变量,起着累加的作用,
  #loss变量是带有梯度的tensor,会保持历史梯度信息,在循环过程中会不断积累梯度信息到tota_loss,占用内存

以上例子的修正方法是在循环中的最后一句修改为:total_loss+=float(loss),利用类型变换解除梯度信息,这样,多次累加不会累加梯度信息。

局部变量逗留导致内存泄露

局部变量通常在变量作用域之外会被Python自动销毁,在作用域之内,不需要的临时变量可以使用del x来销毁。

在设计Linear Layers 的时候,尽量让其规模小点

对于nn.Linear(m,n)这样规模的线性函数,他的空间规模为O(mn),除此规模的空间来容纳参数意外,还需要同样规模的空间来存储梯度,由此很容易造成GPU空间溢出。

相关的进程管理bash cmd

nvidia-smi监控GPU,

watch -n 1 nvidia-smi实时监控GPU,

watch -n 1 lscpu实时监控CPU,

ps -elf进程查看,

ps -elf | grep python查看Python子进程,

kill -9 [PID]杀死进程PID。

Referance:

Pytorch documentations

以上这篇解决pytorch GPU 计算过程中出现内存耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python删除nginx缓存文件示例(python文件操作)
Mar 26 Python
Python中的map、reduce和filter浅析
Apr 26 Python
Python socket.error: [Errno 98] Address already in use的原因和解决方法
Aug 25 Python
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
使用url_helper简化Python中Django框架的url配置教程
May 30 Python
Windows系统下使用flup搭建Nginx和Python环境的方法
Dec 25 Python
python3获取两个日期之间所有日期,以及比较大小的实例
Apr 08 Python
Python实现批量执行同目录下的py文件方法
Jan 11 Python
浅谈Python反射 & 单例模式
Mar 21 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
Python 解析库json及jsonpath pickle的实现
Aug 17 Python
深入分析python 排序
Aug 24 Python
将Pytorch模型从CPU转换成GPU的实现方法
Aug 19 #Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
Aug 19 #Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 #Python
pytorch使用指定GPU训练的实例
Aug 19 #Python
关于pytorch多GPU训练实例与性能对比分析
Aug 19 #Python
pytorch 更改预训练模型网络结构的方法
Aug 19 #Python
pytorch打印网络结构的实例
Aug 19 #Python
You might like
《星际争霸2》终章已出 RTS时代宣告终结
2017/02/07 星际争霸
php cookie的操作实现代码(登录)
2010/12/29 PHP
php数组函数序列之array_flip() 将数组键名与值对调
2011/11/07 PHP
php常用Output和ptions/Info函数集介绍
2013/06/19 PHP
php不使用插件导出excel的简单方法
2014/03/04 PHP
php常用正则函数实例小结
2016/12/29 PHP
PHP封装的page分页类定义与用法完整示例
2018/12/24 PHP
ExtJS 入门
2010/10/29 Javascript
JavaScript词法作用域与调用对象深入理解
2012/11/29 Javascript
onbeforeunload与onunload事件异同点总结
2013/06/24 Javascript
jquery鼠标停止移动事件
2013/12/21 Javascript
javascript实现数字+字母验证码的简单实例
2014/02/10 Javascript
AngularJS中如何使用echart插件示例详解
2016/10/26 Javascript
从零学习node.js之搭建http服务器(二)
2017/02/21 Javascript
详解Node.js模板引擎Jade入门
2018/01/19 Javascript
vue项目中极验验证的使用代码示例
2019/12/03 Javascript
Node.js利用Express实现用户注册登陆功能(推荐)
2020/10/26 Javascript
详解Python各大聊天系统的屏蔽脏话功能原理
2016/12/01 Python
Python实现文件内容批量追加的方法示例
2017/08/29 Python
OpenCV2.3.1+Python2.7.3+Numpy等的配置解析
2018/01/05 Python
Python pymongo模块常用操作分析
2018/09/01 Python
Python使用pyautocad+openpyxl处理cad文件示例
2019/07/11 Python
解决Django加载静态资源失败的问题
2019/07/28 Python
CK美国官网:Calvin Klein
2016/08/26 全球购物
联想美国官方商城:Lenovo美国
2017/06/19 全球购物
请介绍一下Ant
2016/07/22 面试题
简述网络文件系统NFS,并说明其作用
2016/10/19 面试题
应聘医药代表职位求职信
2013/10/21 职场文书
八年级美术教学反思
2014/02/02 职场文书
九年级语文教学反思
2014/02/04 职场文书
同学会主持词
2014/03/18 职场文书
永远跟党走演讲稿
2014/09/12 职场文书
竞选学委演讲稿
2014/09/13 职场文书
车辆转让协议书
2014/09/24 职场文书
医德医风学习心得体会
2016/01/25 职场文书
pycharm 如何查看某一函数源码的快捷键
2021/05/12 Python