记录模型训练时loss值的变化情况


Posted in Python onJune 16, 2020

记录训练过程中的每一步的loss变化

if verbose and step % verbose == 0:
 sys.stdout.write('\r{} / {} : loss = {}'.format(
  step, total_steps, np.mean(total_loss)))
 sys.stdout.flush()
 if verbose:
 sys.stdout.write('\r') 
 sys.stdout.flush()

一般我们在训练神经网络模型的时候,都是每隔多少步,输出打印一下loss或者每一步打印一下loss,今天发现了另一种记录loss变化的方法,就是用

sys.stdout.write('\r{} / {} : loss = {}')

如图上的代码,可以记录每一个在每个epoch中记录用一行输出就可以记录每个step的loss值变化,

\r就是输出不会换行,因此如果你想同一样输出多次,在需要输出的字符串对象里面加上"\r",就可以回到行首了。

sys.stdout.flush() #一秒输出了一个数字

具体的实现就是下面的图:

记录模型训练时loss值的变化情况

这样在每个epoch中也可以观察loss变化,但是只需要打印一行,而不是每一行都输出。

补充知识:训练模型中损失(loss)异常分析

前言

训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数(epoch)的增加而缓慢下降,然后趋于稳定。虽然在模型训练的初始阶段,loss有可能会出现大幅度震荡变化,但是只要数据量充分,模型正确,训练的轮数足够长,模型最终会达到收敛状态,接近最优值或者找到了某个局部最优值。在模型实际训练过程中,可能会得到一些异常loss值,如loss等于nan;loss值忽大忽小,不收敛等。

下面根据自己使用Pythorh训练模型的经验,分析出一些具体原因和给出对应的解决办法。

一、输入数据

1. 数据的预处理

输入到模型的数据一般都是经过了预处理的,如用pandas先进行数据处理,尤其要注意空值,缺失值,异常值。

缺失值:数值类型(NaN),对象类型(None, NaN),时间类型(NaT)

空值:""

异常值:不再正常区间范围的值

例如对缺失值可以进行判断df.isnull()或者df.isna();丢弃df.dropna();填充df.fillna()等操作。

输入到模型中的数据一般而言都是数值类型的值,一定要保证不能出现NaN, numpy中的nan是一种特殊的float,该值数值运算的结果是不正常的,所以可能会导致loss值等于nan。可以用numpy.any(numpy.isnan(x))检查一下input和target。

2. 数据的读写

例如使用Pandas读取.csv类型的数据得到的DataFrame会添加默认的index,再写回到磁盘会多一列。如果用其他读取方式再读入,可能会导致数据有问题,读取到NaN。

import pandas as pd
 
Output = pd.read_csv('./data/diabetes/Output.csv')
trainOutput, testOutput = Output[:6000], Output[6000:]
trainOutput.to_csv('./data/diabetes/trainOutput.csv')
testOutput.to_csv('./data/diabetes/testOutput.csv')

记录模型训练时loss值的变化情况

3. 数据的格式

Pythorch中的 torch.utils.data.Dataset 类是一个表示数据集的抽象类。自己数据集的类应该继承自 Dataset 并且重写__len__方法和__getitem__方法:

__len__ : len(dataset) 返回数据集的大小

__getitem__ :用以支持索引操作, dataset[idx]能够返回第idx个样本数据

然后使用torch.utils.data.DataLoader 这个迭代器(iterator)来遍历所有的特征。具体可以参见这里

在构造自己Dataset类时,需要注意返回的数据格式和类型,一般不会出现NaN的情况但是可能会导致数据float, int, long这几种类型的不兼容,注意转换。

二、学习率

基于梯度下降的优化方法,当学习率太高时会导致loss值不收敛,太低则下降缓慢。需要对学习率等超参数进行调参如使用网格搜索,随机搜索等。

三、除零错

对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决。类似于计算概率时进行的平滑修正,下面的代码片段中loss使用交叉混合熵(CossEntropy),计算3分类问题的AUC值,为了避免概率计算出现NaN而采取了相应的平滑处理。

from sklearn.metrics import roc_auc_score
 
model_ft, y_true, losslists = test_model(model_ft, criterion, optimizer)
n_class = 3
y_one_hot = np.eye(n_class)[y_true.reshape(-1)]
# solve divide zero errot
eps = 0.0000001
y_scores = losslists / (losslists.sum(axis=1, keepdims=True)+eps)
#print(y_scores)
#print(np.isnan(y_scores))
"""
metrics.roc_auc_score(y_one_hot, y_pred)
"""
print("auc: ")
roc_auc_score(y_one_hot, y_scores)

四、loss函数

loss函数代码编写不正确或者已经编写好的loss函数API使用不清楚

五、某些易错代码

Pytorch在进行自动微分的时候,默认梯度是会累加的,所以需要在每个epoch的每个batch中对梯度清零,否则可能会导致loss值不收敛。不要忘记添加如下代码

optimizer.zero_grad()

以上这篇记录模型训练时loss值的变化情况就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 正则式 概述及常用字符
May 07 Python
Python 对象中的数据类型
May 13 Python
python批量替换多文件字符串问题详解
Apr 22 Python
python实现pdf转换成word/txt纯文本文件
Jun 07 Python
Python实现多级目录压缩与解压文件的方法
Sep 01 Python
python 监听salt job状态,并任务数据推送到redis中的方法
Jan 14 Python
django-rest-swagger的优化使用方法
Aug 29 Python
Pytorch 数据加载与数据预处理方式
Dec 31 Python
Python django框架开发发布会签到系统(web开发)
Feb 12 Python
一文读懂python Scrapy爬虫框架
Feb 24 Python
python字符串的多行输出的实例详解
Jun 08 Python
python中出现invalid syntax报错的几种原因分析
Feb 12 Python
python实现批量转换图片为黑白
Jun 16 #Python
在keras中实现查看其训练loss值
Jun 16 #Python
安装python3.7编译器后如何正确安装opnecv的方法详解
Jun 16 #Python
Keras在训练期间可视化训练误差和测试误差实例
Jun 16 #Python
如何在Windows中安装多个python解释器
Jun 16 #Python
使用pyplot.matshow()函数添加绘图标题
Jun 16 #Python
浅谈matplotlib中FigureCanvasXAgg的用法
Jun 16 #Python
You might like
php 在windows下配置虚拟目录的方法介绍
2013/06/26 PHP
php-fpm配置详解
2014/02/12 PHP
详解PHP中的状态模式编程
2015/08/11 PHP
PHP连接sftp并下载文件的方法教程
2018/08/26 PHP
详解PHP PDO简单教程
2019/05/28 PHP
PHP 代码简洁之道(小结)
2019/10/16 PHP
Thinkphp 框架扩展之数据库驱动常用方法小结
2020/04/23 PHP
JavaScript的9个陷阱及评点分析
2008/05/16 Javascript
Web开发者必备的12款超赞jQuery插件
2010/12/03 Javascript
浅谈JS日期(Date)处理函数
2014/12/07 Javascript
jquery表格datatables实例解析 直接加载和延迟加载
2016/08/12 Javascript
select隐藏选中值对应的id,显示其它id的简单实现方法
2016/08/25 Javascript
JS批量替换内容中关键词为超链接
2017/02/20 Javascript
JavaScript实现的仿新浪微博原生态输入字数即时检查功能【兼容IE6】
2017/09/26 Javascript
详解如何使用webpack打包多页jquery项目
2019/02/01 jQuery
基于vue实现一个禅道主页拖拽效果
2019/05/27 Javascript
详解javascript void(0)
2020/07/13 Javascript
[07:57]DOTA2热力大趴狂欢夜 广州站活动回顾
2013/11/27 DOTA
Anaconda2下实现Python2.7和Python3.5的共存方法
2018/06/11 Python
详解Django的CSRF认证实现
2018/10/09 Python
Python中的pathlib.Path为什么不继承str详解
2019/06/23 Python
python正则爬取某段子网站前20页段子(request库)过程解析
2019/08/10 Python
python 中不同包 类 方法 之间的调用详解
2020/03/09 Python
python实现吃苹果小游戏
2020/03/21 Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
2020/06/02 Python
Boolean b = new Boolean(“abcde”); 会编译错误码
2013/11/27 面试题
4s店机修工岗位职责
2013/12/20 职场文书
社区消防工作实施方案
2014/03/21 职场文书
暑假家长评语大全
2014/04/17 职场文书
讲解员培训方案
2014/05/04 职场文书
活动宣传策划方案
2014/05/23 职场文书
部队反四风对照检查材料
2014/09/26 职场文书
群众路线党员个人整改措施
2014/10/27 职场文书
2015年实习生工作总结报告
2015/04/28 职场文书
安全温馨提示语大全
2015/07/14 职场文书
MongoDB使用profile分析慢查询的步骤
2021/04/30 MongoDB