Keras中的多分类损失函数用法categorical_crossentropy


Posted in Python onJune 11, 2020

from keras.utils.np_utils import to_categorical

注意:当使用categorical_crossentropy损失函数时,你的标签应为多类模式,例如如果你有10个类别,每一个样本的标签应该是一个10维的向量,该向量在对应有值的索引位置为1其余为0。

可以使用这个方法进行转换:

from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=None)

以mnist数据集为例:

from keras.datasets import mnist

(X_train, y_train), (X_test, y_test) = mnist.load_data()
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

...
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)

补充知识:Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

问题

在使用keras做对心电信号分类的项目中发现一个问题,这个问题起源于我的一个使用错误:

binary_crossentropy 二进制交叉熵用于二分类问题中,categorical_crossentropy分类交叉熵适用于多分类问题中,我的心电分类是一个多分类问题,但是我起初使用了二进制交叉熵,代码如下所示:

sgd = SGD(lr=0.003, decay=0, momentum=0.7, nesterov=False)
model.compile(loss='categorical_crossentropy',
  optimizer='sgd',metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_test,Y_test),batch_size=16, epochs=20)
score = model.evaluate(X_test, Y_test, batch_size=16)

注意:我的CNN网络模型在最后输入层正确使用了应该用于多分类问题的softmax激活函数

后来我在另一个残差网络模型中对同类数据进行相同的分类问题中,正确使用了分类交叉熵,令人奇怪的是残差模型的效果远弱于普通卷积神经网络,这一点是不符合常理的,经过多次修改分析终于发现可能是损失函数的问题,因此我使用二进制交叉熵在残差网络中,终于取得了优于普通卷积神经网络的效果。

因此可以断定问题就出在所使用的损失函数身上

原理

本人也只是个只会使用框架的调参侠,对于一些原理也是一知半解,经过了学习才大致明白,将一些原理记录如下:

要搞明白分类熵和二进制交叉熵先要从二者适用的激活函数说起

激活函数

sigmoid, softmax主要用于神经网络输出层的输出。

softmax函数

Keras中的多分类损失函数用法categorical_crossentropy

softmax可以看作是Sigmoid的一般情况,用于多分类问题。

Softmax函数将K维的实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于 (0,1) 之间。常用于多分类问题。

sigmoid函数

Keras中的多分类损失函数用法categorical_crossentropy

Sigmoid 将一个实数映射到 (0,1) 的区间,可以用来做二分类。Sigmoid 在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid不适合用在神经网络的中间层,因为对于深层网络,sigmoid 函数反向传播时,很容易就会出现梯度消失的情况(在 sigmoid 接近饱和区时,变换太缓慢,导数趋于 0,这种情况会造成信息丢失),从而无法完成深层网络的训练。所以Sigmoid主要用于对神经网络输出层的激活。

分析

所以说多分类问题是要softmax激活函数配合分类交叉熵函数使用,而二分类问题要使用sigmoid激活函数配合二进制交叉熵函数适用,但是如果在多分类问题中使用了二进制交叉熵函数最后的模型分类效果会虚高,即比模型本身真实的分类效果好。

所以就会出现我遇到的情况,这里引用了论坛一位大佬的样例:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # WRONG way

model.fit(x_train, y_train,
   batch_size=batch_size,
   epochs=2, # only 2 epochs, for demonstration purposes
   verbose=1,
   validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False

样例中模型在评估中得到的准确度高于实际测算得到的准确度,网上给出的原因是Keras没有定义一个准确的度量,但有几个不同的,比如binary_accuracy和categorical_accuracy,当你使用binary_crossentropy时keras默认在评估过程中使用了binary_accuracy,但是针对你的分类要求,应当采用的是categorical_accuracy,所以就造成了这个问题(其中的具体原理我也没去看源码详细了解)

解决

所以问题最后的解决方法就是:

对于多分类问题,要么采用

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', 
 optimizer='adam', metrics=[categorical_accuracy])

要么采用

model.compile(loss='categorical_crossentropy',
optimizer='adam',metrics=['accuracy'])

以上这篇Keras中的多分类损失函数用法categorical_crossentropy就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python pass 语句使用示例
Mar 11 Python
python读写二进制文件的方法
May 09 Python
利用Python如何批量修改数据库执行Sql文件
Jul 29 Python
python实现网页自动签到功能
Jan 21 Python
实例详解python函数的对象、函数嵌套、名称空间和作用域
May 31 Python
Python 计算任意两向量之间的夹角方法
Jul 05 Python
pytorch 预训练层的使用方法
Aug 20 Python
python系列 文件操作的代码
Oct 06 Python
flask框架自定义url转换器操作详解
Jan 25 Python
Python 利用OpenCV给照片换底色的示例代码
Aug 03 Python
python实现AHP算法的方法实例(层次分析法)
Sep 09 Python
Windows下pycharm安装第三方库失败(通用解决方案)
Sep 17 Python
Python 列表中的修改、添加和删除元素的实现
Jun 11 #Python
python中什么是面向对象
Jun 11 #Python
python实现凯撒密码、凯撒加解密算法
Jun 11 #Python
python新手学习可变和不可变对象
Jun 11 #Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
Jun 11 #Python
什么是python的id函数
Jun 11 #Python
Keras:Unet网络实现多类语义分割方式
Jun 11 #Python
You might like
利用curl抓取远程页面内容的示例代码
2013/07/23 PHP
PHP获取一个字符串中间一部分字符的方法
2014/08/19 PHP
PHP的Yii框架中使用数据库的配置和SQL操作实例教程
2016/03/17 PHP
php显示页码分页类的封装
2017/06/08 PHP
PHP实现字符串翻转功能的方法【递归与循环算法】
2017/11/03 PHP
php ajax数据传输和响应方法
2018/08/21 PHP
PHP实现带进度条的Ajax文件上传功能示例
2019/07/02 PHP
javascript Array数组对象的扩展函数代码
2010/05/22 Javascript
js禁止小键盘输入数字功能代码
2011/08/01 Javascript
jQuery无刷新上传之uploadify3.1简单使用
2016/06/18 Javascript
js实现上传文件添加和删除文件选择框
2016/10/24 Javascript
移动端Ionic App 资讯上下循环滚动的实现代码(跑马灯效果)
2017/08/29 Javascript
JS函数节流和函数防抖问题分析
2017/12/18 Javascript
vue全局组件与局部组件使用方法详解
2018/03/29 Javascript
使用vue2.0创建的项目的步骤方法
2018/09/25 Javascript
JavaScript实现文件下载并重命名代码实例
2019/12/12 Javascript
JS实现商品橱窗特效
2020/01/09 Javascript
[04:54]DOTA2-DPC中国联赛1月31日Recap集锦
2021/03/11 DOTA
浅析python中的分片与截断序列
2016/08/09 Python
tensorflow输出权重值和偏差的方法
2018/02/10 Python
Flask框架踩坑之ajax跨域请求实现
2019/02/22 Python
解决python 虚拟环境删除包无法加载的问题
2020/07/13 Python
利用Python实现Json序列化库的方法步骤
2020/09/09 Python
澳大利亚手袋、珠宝和在线时尚精品店:The Way
2019/12/21 全球购物
德国家具折扣店:POCO
2020/02/28 全球购物
高中生自我鉴定范文
2013/10/30 职场文书
员工拓展培训方案
2014/02/15 职场文书
手机银行营销方案
2014/03/14 职场文书
中学生评语大全
2014/04/18 职场文书
刑事代理授权委托书
2014/09/17 职场文书
个人对照检查材料思想汇报
2014/09/26 职场文书
地方白酒代理协议书
2014/10/25 职场文书
违规违纪检讨书范文
2015/05/06 职场文书
五星级酒店宣传口号
2015/12/25 职场文书
python 自动刷新网页的两种方法
2021/04/20 Python
《传颂之物 虚伪的假面》BD发售宣传CM公开
2022/04/04 日漫