解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题


Posted in Python onJuly 02, 2020

1、Binary Cross Entropy

常用于二分类问题,当然也可以用于多分类问题,通常需要在网络的最后一层添加sigmoid进行配合使用,其期望输出值(target)需要进行one hot编码,另外BCELoss还可以用于多分类问题Multi-label classification.

定义:

For brevity, let x = output, z = target. The binary cross entropy loss is
loss(x, z) = - sum_i (x[i] * log(z[i]) + (1 - x[i]) * log(1 - z[i]))

对应的代码为:

def binary_crossentropy(t,o):
return -(t*tf.log(o+eps) + (1.0-t)*tf.log(1.0-o+eps))

2、Categorical cross-entropy

解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题

p are the predictions, t are the targets, i denotes the data point and j denotes the class.

适用于多分类问题,并使用softmax作为输出层的激活函数的情况。

补充知识:训练GAN的一些小贴士

下面是我认识到自己犯过的一些错误,以及我从中学到的一些东西。所以,如果你是GANs的新手,并没有看到在训练方面取得很大的成功,也许看看以下几个方面会有所帮助:

1、大卷积核和更多的滤波器

更大的卷积核覆盖了前一层图像中的更多像素,因此可以查看更多信息。5x5的核与CIFAR-10配合良好,在判别器中使用3x3核使判别器损耗迅速趋近于0。对于生成器,你希望在顶层的卷积层有更大的核,以保持某种平滑。在较低的层,我没有看到改变内核大小的任何主要影响。

滤波器的数量可以大量增加参数的数量,但通常需要更多的滤波器。我在几乎所有的卷积层中都使用了128个滤波器。使用较少的滤波器,特别是在生成器中,使得最终生成的图像过于模糊。因此,看起来更多的滤波器可以帮助捕获额外的信息,最终为生成的图像增加清晰度。

2、标签翻转(Generated=True, Real=False)

虽然一开始看起来很傻,但对我有用的一个主要技巧是更改标签分配。

如果你使用的是Real Images = 1,而生成的图像= 0,则使用另一种方法会有所帮助。正如我们将在后面看到的,这有助于在早期迭代中使用梯度流,并帮助使梯度流动。

3、使用有噪声的标签和软标签

这在训练判别器时是非常重要的。硬标签(1或0)几乎扼杀了早期的所有学习,导致识别器非常快地接近0损失。最后,我使用0到0.1之间的随机数表示0标签(真实图像),使用0.9到1.0之间的随机数表示1标签(生成的图像)。在训练生成器时不需要这样做。

此外,增加一些噪音的训练标签也是有帮助的。对于输入识别器的5%的图像,标签被随机翻转。比如真实的被标记为生成的,生成的被标记为真实的。

4、使用批归一化是有用的,但是需要有其他的东西也是合适的

批归一化无疑有助于最终的结果。添加批归一化后,生成的图像明显更清晰。但是,如果你错误地设置了卷积核或滤波器,或者识别器的损失很快达到0,添加批归一化可能并不能真正帮助恢复。

5、每次一个类别

为了更容易地训练GANs,确保输入数据具有相似的特征是很有用的。例如,与其在CIFAR-10的所有10个类中都训练GAN,不如选择一个类(例如,汽车或青蛙)并训练GANs从该类生成图像。DC-GAN的其他变体在学习生成多个类的图像方面做得更好。例如,以类标签为输入,生成基于类标签的图像。但是,如果你从一个普通的DC-GAN开始,最好保持事情简单。

6、查看梯度

如果可能的话,试着监控梯度以及网络中的损失。这些可以帮助你更好地了解训练的进展,甚至可以帮助你在工作不顺利的情况下进行调试。

理想情况下,生成器应该在训练的早期获得较大的梯度,因为它需要学习如何生成真实的数据。另一方面,判别器并不总是在早期获得较大的梯度,因为它可以很容易地区分真假图像。一旦生成器得到足够的训练,判别器就很难分辨真假图像。它会不断出错,并得到大的梯度。

以上这篇解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python进行稳定可靠的文件操作详解
Dec 31 Python
python实现中文输出的两种方法
May 09 Python
python删除过期文件的方法
May 29 Python
Python中for循环控制语句用法实例
Jun 02 Python
详解python string类型 bytes类型 bytearray类型
Dec 16 Python
对Pandas DataFrame缺失值的查找与填充示例讲解
Nov 06 Python
Python初学者常见错误详解
Jul 02 Python
python实现日志按天分割
Jul 22 Python
浅析Python数字类型和字符串类型的内置方法
Dec 22 Python
Python动态导入模块和反射机制详解
Feb 18 Python
python 简单的调用有道翻译
Nov 25 Python
python如何利用cv2模块读取显示保存图片
Jun 04 Python
解决keras,val_categorical_accuracy:,0.0000e+00问题
Jul 02 #Python
如何基于Python爬取隐秘的角落评论
Jul 02 #Python
keras中epoch,batch,loss,val_loss用法说明
Jul 02 #Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 #Python
浅谈keras使用预训练模型vgg16分类,损失和准确度不变
Jul 02 #Python
python脚本和网页有何区别
Jul 02 #Python
keras:model.compile损失函数的用法
Jul 01 #Python
You might like
我的论坛源代码(一)
2006/10/09 PHP
ThinkPHP实例化模型的四种方法概述
2014/08/22 PHP
PHP使用自定义方法实现数组合并示例
2016/07/07 PHP
PHP命名空间namespace用法实例分析
2016/09/27 PHP
[原创]php正则删除img标签的方法示例
2017/05/27 PHP
PHP mysqli事务操作常用方法分析
2017/07/22 PHP
php获取微信共享收货地址的方法
2017/12/21 PHP
js 动态文字滚动的例子
2011/01/17 Javascript
完美解决AJAX跨域问题
2013/11/01 Javascript
jQuery使用toggleClass方法动态添加删除Class样式的方法
2015/03/26 Javascript
jQuery菜单插件superfish使用指南
2015/04/21 Javascript
ES6概念 Symbol toString()方法
2016/12/25 Javascript
JavaScript中从setTimeout与setInterval到AJAX异步
2017/02/13 Javascript
JS去除字符串中空格的方法
2017/02/14 Javascript
javascript 初学教程及五子棋小程序的简单实现
2017/07/04 Javascript
javascript连接mysql与php通过odbc连接任意数据库的实例
2017/12/27 Javascript
Vue.js 实现数据展示全部和收起功能
2018/09/05 Javascript
Node.js如何对SQLite的async/await封装详解
2019/02/14 Javascript
函数式编程入门实践(一)
2019/04/20 Javascript
React实现全选功能
2020/08/25 Javascript
nginx部署多个vue项目的方法示例
2020/09/06 Javascript
[01:11]辉夜杯战队访谈宣传片—CDEC.Y
2015/12/26 DOTA
Python中的defaultdict模块和namedtuple模块的简单入门指南
2015/04/01 Python
详解Python中DOM方法的动态性
2015/04/11 Python
Python中用PIL库批量给图片加上序号的教程
2015/05/06 Python
Django中的“惰性翻译”方法的相关使用
2015/07/27 Python
Python中音频处理库pydub的使用教程
2017/06/07 Python
Python中无限循环需要什么条件
2020/05/27 Python
Python新手学习raise用法
2020/06/03 Python
python 实现Requests发送带cookies的请求
2021/02/08 Python
PHP引擎php.ini参数优化深入讲解
2021/03/24 PHP
计算机专业个人求职信范例
2013/09/23 职场文书
应届护士求职信范文
2014/01/26 职场文书
房屋租房协议书范本
2014/12/04 职场文书
导游词之重庆钓鱼城
2019/09/19 职场文书
Python中os模块的简单使用及重命名操作
2021/04/17 Python