Keras中的多分类损失函数用法categorical_crossentropy


Posted in Python onJune 11, 2020

from keras.utils.np_utils import to_categorical

注意:当使用categorical_crossentropy损失函数时,你的标签应为多类模式,例如如果你有10个类别,每一个样本的标签应该是一个10维的向量,该向量在对应有值的索引位置为1其余为0。

可以使用这个方法进行转换:

from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=None)

以mnist数据集为例:

from keras.datasets import mnist

(X_train, y_train), (X_test, y_test) = mnist.load_data()
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

...
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)

补充知识:Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

问题

在使用keras做对心电信号分类的项目中发现一个问题,这个问题起源于我的一个使用错误:

binary_crossentropy 二进制交叉熵用于二分类问题中,categorical_crossentropy分类交叉熵适用于多分类问题中,我的心电分类是一个多分类问题,但是我起初使用了二进制交叉熵,代码如下所示:

sgd = SGD(lr=0.003, decay=0, momentum=0.7, nesterov=False)
model.compile(loss='categorical_crossentropy',
  optimizer='sgd',metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_test,Y_test),batch_size=16, epochs=20)
score = model.evaluate(X_test, Y_test, batch_size=16)

注意:我的CNN网络模型在最后输入层正确使用了应该用于多分类问题的softmax激活函数

后来我在另一个残差网络模型中对同类数据进行相同的分类问题中,正确使用了分类交叉熵,令人奇怪的是残差模型的效果远弱于普通卷积神经网络,这一点是不符合常理的,经过多次修改分析终于发现可能是损失函数的问题,因此我使用二进制交叉熵在残差网络中,终于取得了优于普通卷积神经网络的效果。

因此可以断定问题就出在所使用的损失函数身上

原理

本人也只是个只会使用框架的调参侠,对于一些原理也是一知半解,经过了学习才大致明白,将一些原理记录如下:

要搞明白分类熵和二进制交叉熵先要从二者适用的激活函数说起

激活函数

sigmoid, softmax主要用于神经网络输出层的输出。

softmax函数

Keras中的多分类损失函数用法categorical_crossentropy

softmax可以看作是Sigmoid的一般情况,用于多分类问题。

Softmax函数将K维的实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于 (0,1) 之间。常用于多分类问题。

sigmoid函数

Keras中的多分类损失函数用法categorical_crossentropy

Sigmoid 将一个实数映射到 (0,1) 的区间,可以用来做二分类。Sigmoid 在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid不适合用在神经网络的中间层,因为对于深层网络,sigmoid 函数反向传播时,很容易就会出现梯度消失的情况(在 sigmoid 接近饱和区时,变换太缓慢,导数趋于 0,这种情况会造成信息丢失),从而无法完成深层网络的训练。所以Sigmoid主要用于对神经网络输出层的激活。

分析

所以说多分类问题是要softmax激活函数配合分类交叉熵函数使用,而二分类问题要使用sigmoid激活函数配合二进制交叉熵函数适用,但是如果在多分类问题中使用了二进制交叉熵函数最后的模型分类效果会虚高,即比模型本身真实的分类效果好。

所以就会出现我遇到的情况,这里引用了论坛一位大佬的样例:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # WRONG way

model.fit(x_train, y_train,
   batch_size=batch_size,
   epochs=2, # only 2 epochs, for demonstration purposes
   verbose=1,
   validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False

样例中模型在评估中得到的准确度高于实际测算得到的准确度,网上给出的原因是Keras没有定义一个准确的度量,但有几个不同的,比如binary_accuracy和categorical_accuracy,当你使用binary_crossentropy时keras默认在评估过程中使用了binary_accuracy,但是针对你的分类要求,应当采用的是categorical_accuracy,所以就造成了这个问题(其中的具体原理我也没去看源码详细了解)

解决

所以问题最后的解决方法就是:

对于多分类问题,要么采用

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', 
 optimizer='adam', metrics=[categorical_accuracy])

要么采用

model.compile(loss='categorical_crossentropy',
optimizer='adam',metrics=['accuracy'])

以上这篇Keras中的多分类损失函数用法categorical_crossentropy就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现简单的文件传输与MySQL备份的脚本分享
Jan 03 Python
python验证码识别的实例详解
Sep 09 Python
关于Python中空格字符串处理的技巧总结
Aug 10 Python
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
Feb 24 Python
python使用Pycharm创建一个Django项目
Mar 05 Python
Python简单爬虫导出CSV文件的实例讲解
Jul 06 Python
20行python代码实现人脸识别
May 05 Python
python对文件目录的操作方法实例总结
Jun 24 Python
Python 通过截图匹配原图中的位置(opencv)实例
Aug 27 Python
Python字典底层实现原理详解
Dec 18 Python
基于python代码批量处理图片resize
Jun 04 Python
python中spy++的使用超详细教程
Jan 29 Python
Python 列表中的修改、添加和删除元素的实现
Jun 11 #Python
python中什么是面向对象
Jun 11 #Python
python实现凯撒密码、凯撒加解密算法
Jun 11 #Python
python新手学习可变和不可变对象
Jun 11 #Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
Jun 11 #Python
什么是python的id函数
Jun 11 #Python
Keras:Unet网络实现多类语义分割方式
Jun 11 #Python
You might like
PHP面向对象的使用教程 简单数据库连接
2006/11/25 PHP
php字符比较函数similar_text、strnatcmp与strcasecmp用法分析
2014/11/18 PHP
php创建多级目录的方法
2015/03/24 PHP
比较完整的微信开发php代码
2016/08/02 PHP
toString()一个会自动调用的方法
2010/02/08 Javascript
javascript创建和存储cookie示例
2014/01/07 Javascript
使用命令对象代替switch语句的写法示例
2015/02/28 Javascript
Javascript中Date类型和Math类型详解
2016/02/27 Javascript
jquery获取所有选中的checkbox实现代码
2016/05/26 Javascript
浅谈Jquery中Ajax异步请求中的async参数的作用
2016/06/06 Javascript
javascript判断回文数详解及实现代码
2017/02/03 Javascript
Vue Element使用icon图标教程详解(第三方)
2018/02/07 Javascript
实例详解ztree在vue项目中使用并且带有搜索功能
2018/08/24 Javascript
ES6 Object方法扩展的应用实例分析
2019/06/25 Javascript
vue 获取视频时长的实例代码
2019/08/20 Javascript
在vue中封装的弹窗组件使用队列模式实现方法
2020/07/23 Javascript
详解Python的迭代器、生成器以及相关的itertools包
2015/04/02 Python
Python对数据进行插值和下采样的方法
2018/07/03 Python
python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)
2019/04/01 Python
pandas.read_csv参数详解(小结)
2019/06/21 Python
Python中断多重循环的思路总结
2019/10/04 Python
基于Python+QT的gui程序开发实现
2020/07/03 Python
python Timer 类使用介绍
2020/12/28 Python
HTML5之SVG 2D入门8—文档结构及相关元素总结
2013/01/30 HTML / CSS
canvas绘制圆角头像的实现方法
2019/01/17 HTML / CSS
制冷与电控专业应届生求职信
2013/11/11 职场文书
网站设计师的岗位职责
2013/11/21 职场文书
车祸赔偿收入证明
2014/01/09 职场文书
物流专业求职计划书
2014/01/10 职场文书
财务工作者先进事迹材料
2014/01/17 职场文书
小学生清明节演讲稿
2014/09/05 职场文书
公安机关党的群众路线教育实践活动剖析材料
2014/10/10 职场文书
离婚案件答辩状
2015/05/22 职场文书
原生CSS实现文字无限轮播的通用方法
2021/03/30 HTML / CSS
分析mysql中一条SQL查询语句是如何执行的
2021/06/21 MySQL
MySQL学习之基础操作总结
2022/03/19 MySQL