记录模型训练时loss值的变化情况


Posted in Python onJune 16, 2020

记录训练过程中的每一步的loss变化

if verbose and step % verbose == 0:
 sys.stdout.write('\r{} / {} : loss = {}'.format(
  step, total_steps, np.mean(total_loss)))
 sys.stdout.flush()
 if verbose:
 sys.stdout.write('\r') 
 sys.stdout.flush()

一般我们在训练神经网络模型的时候,都是每隔多少步,输出打印一下loss或者每一步打印一下loss,今天发现了另一种记录loss变化的方法,就是用

sys.stdout.write('\r{} / {} : loss = {}')

如图上的代码,可以记录每一个在每个epoch中记录用一行输出就可以记录每个step的loss值变化,

\r就是输出不会换行,因此如果你想同一样输出多次,在需要输出的字符串对象里面加上"\r",就可以回到行首了。

sys.stdout.flush() #一秒输出了一个数字

具体的实现就是下面的图:

记录模型训练时loss值的变化情况

这样在每个epoch中也可以观察loss变化,但是只需要打印一行,而不是每一行都输出。

补充知识:训练模型中损失(loss)异常分析

前言

训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数(epoch)的增加而缓慢下降,然后趋于稳定。虽然在模型训练的初始阶段,loss有可能会出现大幅度震荡变化,但是只要数据量充分,模型正确,训练的轮数足够长,模型最终会达到收敛状态,接近最优值或者找到了某个局部最优值。在模型实际训练过程中,可能会得到一些异常loss值,如loss等于nan;loss值忽大忽小,不收敛等。

下面根据自己使用Pythorh训练模型的经验,分析出一些具体原因和给出对应的解决办法。

一、输入数据

1. 数据的预处理

输入到模型的数据一般都是经过了预处理的,如用pandas先进行数据处理,尤其要注意空值,缺失值,异常值。

缺失值:数值类型(NaN),对象类型(None, NaN),时间类型(NaT)

空值:""

异常值:不再正常区间范围的值

例如对缺失值可以进行判断df.isnull()或者df.isna();丢弃df.dropna();填充df.fillna()等操作。

输入到模型中的数据一般而言都是数值类型的值,一定要保证不能出现NaN, numpy中的nan是一种特殊的float,该值数值运算的结果是不正常的,所以可能会导致loss值等于nan。可以用numpy.any(numpy.isnan(x))检查一下input和target。

2. 数据的读写

例如使用Pandas读取.csv类型的数据得到的DataFrame会添加默认的index,再写回到磁盘会多一列。如果用其他读取方式再读入,可能会导致数据有问题,读取到NaN。

import pandas as pd
 
Output = pd.read_csv('./data/diabetes/Output.csv')
trainOutput, testOutput = Output[:6000], Output[6000:]
trainOutput.to_csv('./data/diabetes/trainOutput.csv')
testOutput.to_csv('./data/diabetes/testOutput.csv')

记录模型训练时loss值的变化情况

3. 数据的格式

Pythorch中的 torch.utils.data.Dataset 类是一个表示数据集的抽象类。自己数据集的类应该继承自 Dataset 并且重写__len__方法和__getitem__方法:

__len__ : len(dataset) 返回数据集的大小

__getitem__ :用以支持索引操作, dataset[idx]能够返回第idx个样本数据

然后使用torch.utils.data.DataLoader 这个迭代器(iterator)来遍历所有的特征。具体可以参见这里

在构造自己Dataset类时,需要注意返回的数据格式和类型,一般不会出现NaN的情况但是可能会导致数据float, int, long这几种类型的不兼容,注意转换。

二、学习率

基于梯度下降的优化方法,当学习率太高时会导致loss值不收敛,太低则下降缓慢。需要对学习率等超参数进行调参如使用网格搜索,随机搜索等。

三、除零错

对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决。类似于计算概率时进行的平滑修正,下面的代码片段中loss使用交叉混合熵(CossEntropy),计算3分类问题的AUC值,为了避免概率计算出现NaN而采取了相应的平滑处理。

from sklearn.metrics import roc_auc_score
 
model_ft, y_true, losslists = test_model(model_ft, criterion, optimizer)
n_class = 3
y_one_hot = np.eye(n_class)[y_true.reshape(-1)]
# solve divide zero errot
eps = 0.0000001
y_scores = losslists / (losslists.sum(axis=1, keepdims=True)+eps)
#print(y_scores)
#print(np.isnan(y_scores))
"""
metrics.roc_auc_score(y_one_hot, y_pred)
"""
print("auc: ")
roc_auc_score(y_one_hot, y_scores)

四、loss函数

loss函数代码编写不正确或者已经编写好的loss函数API使用不清楚

五、某些易错代码

Pytorch在进行自动微分的时候,默认梯度是会累加的,所以需要在每个epoch的每个batch中对梯度清零,否则可能会导致loss值不收敛。不要忘记添加如下代码

optimizer.zero_grad()

以上这篇记录模型训练时loss值的变化情况就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的高级数据结构详解
Mar 27 Python
Python操作SQLite数据库的方法详解【导入,创建,游标,增删改查等】
Jul 11 Python
django初始化数据库的实例
May 27 Python
python实现三维拟合的方法
Dec 29 Python
Python文件打开方式实例详解【a、a+、r+、w+区别】
Mar 30 Python
Python Pandas实现数据分组求平均值并填充nan的示例
Jul 04 Python
pytorch torch.expand和torch.repeat的区别详解
Nov 05 Python
python在不同条件下的输入与输出
Feb 13 Python
Python如何实现线程间通信
Jul 30 Python
python list的index()和find()的实现
Nov 16 Python
Python Numpy之linspace用法说明
Apr 17 Python
Pytorch可视化的几种实现方法
Jun 10 Python
python实现批量转换图片为黑白
Jun 16 #Python
在keras中实现查看其训练loss值
Jun 16 #Python
安装python3.7编译器后如何正确安装opnecv的方法详解
Jun 16 #Python
Keras在训练期间可视化训练误差和测试误差实例
Jun 16 #Python
如何在Windows中安装多个python解释器
Jun 16 #Python
使用pyplot.matshow()函数添加绘图标题
Jun 16 #Python
浅谈matplotlib中FigureCanvasXAgg的用法
Jun 16 #Python
You might like
深入php 正则表达式的学习探讨
2013/06/06 PHP
ThinkPHP自动完成中使用函数与回调方法实例
2014/11/29 PHP
PHP易混淆知识整理笔记
2015/09/24 PHP
PHP 扩展Memcached命令用法实例总结
2020/06/04 PHP
JS实现打开本地文件或文件夹
2021/03/09 Javascript
javascript oop开发滑动(slide)菜单控件
2010/08/25 Javascript
在jQuery中 关于json空对象筛选替换
2013/04/15 Javascript
Select标签下拉列表二级联动级联实例代码
2014/02/07 Javascript
jQuery实现类似淘宝网图片放大效果的方法
2015/07/08 Javascript
javascript实现动态表头及表列的展现方法
2015/07/14 Javascript
JS加载器如何动态加载外部js文件
2016/05/26 Javascript
详解JavaScript模块化开发
2016/12/04 Javascript
ES2015 Symbol 一种绝不重复的值
2016/12/25 Javascript
jQuery实现手机上输入后隐藏键盘功能
2017/01/04 Javascript
javascript按顺序加载运行js方法
2017/12/01 Javascript
JavaScript中Object基础内部方法图
2018/02/05 Javascript
JavaScript实现多叉树的递归遍历和非递归遍历算法操作示例
2018/02/08 Javascript
可拖拽组件slider.js使用方法详解
2020/12/04 Javascript
原生js实现九宫格拖拽换位
2021/01/26 Javascript
python实现网站的模拟登录
2016/01/04 Python
win10环境下python3.5安装步骤图文教程
2017/02/03 Python
Pycharm学习教程(2) 代码风格
2017/05/02 Python
Python错误处理操作示例
2018/07/18 Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
2020/06/02 Python
英国床垫在线:Mattress Online
2016/12/07 全球购物
Tomcat Mysql datasource数据源配置
2015/12/28 面试题
枚举与#define宏的区别
2014/04/30 面试题
艺术专业大学生自我评价
2013/09/22 职场文书
农村党支部先进事迹
2014/01/14 职场文书
商学院大学生求职的自我评价
2014/03/12 职场文书
建筑工地门卫岗位职责
2014/04/30 职场文书
投标承诺书怎么写
2014/05/24 职场文书
企业安全生产责任书范本
2014/07/28 职场文书
二年级上册数学教学计划
2015/01/20 职场文书
《用字母表示数》教学反思
2016/02/17 职场文书
详细谈谈MYSQL中的COLLATE是什么
2021/06/11 MySQL