解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题


Posted in Python onJuly 02, 2020

1、Binary Cross Entropy

常用于二分类问题,当然也可以用于多分类问题,通常需要在网络的最后一层添加sigmoid进行配合使用,其期望输出值(target)需要进行one hot编码,另外BCELoss还可以用于多分类问题Multi-label classification.

定义:

For brevity, let x = output, z = target. The binary cross entropy loss is
loss(x, z) = - sum_i (x[i] * log(z[i]) + (1 - x[i]) * log(1 - z[i]))

对应的代码为:

def binary_crossentropy(t,o):
return -(t*tf.log(o+eps) + (1.0-t)*tf.log(1.0-o+eps))

2、Categorical cross-entropy

解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题

p are the predictions, t are the targets, i denotes the data point and j denotes the class.

适用于多分类问题,并使用softmax作为输出层的激活函数的情况。

补充知识:训练GAN的一些小贴士

下面是我认识到自己犯过的一些错误,以及我从中学到的一些东西。所以,如果你是GANs的新手,并没有看到在训练方面取得很大的成功,也许看看以下几个方面会有所帮助:

1、大卷积核和更多的滤波器

更大的卷积核覆盖了前一层图像中的更多像素,因此可以查看更多信息。5x5的核与CIFAR-10配合良好,在判别器中使用3x3核使判别器损耗迅速趋近于0。对于生成器,你希望在顶层的卷积层有更大的核,以保持某种平滑。在较低的层,我没有看到改变内核大小的任何主要影响。

滤波器的数量可以大量增加参数的数量,但通常需要更多的滤波器。我在几乎所有的卷积层中都使用了128个滤波器。使用较少的滤波器,特别是在生成器中,使得最终生成的图像过于模糊。因此,看起来更多的滤波器可以帮助捕获额外的信息,最终为生成的图像增加清晰度。

2、标签翻转(Generated=True, Real=False)

虽然一开始看起来很傻,但对我有用的一个主要技巧是更改标签分配。

如果你使用的是Real Images = 1,而生成的图像= 0,则使用另一种方法会有所帮助。正如我们将在后面看到的,这有助于在早期迭代中使用梯度流,并帮助使梯度流动。

3、使用有噪声的标签和软标签

这在训练判别器时是非常重要的。硬标签(1或0)几乎扼杀了早期的所有学习,导致识别器非常快地接近0损失。最后,我使用0到0.1之间的随机数表示0标签(真实图像),使用0.9到1.0之间的随机数表示1标签(生成的图像)。在训练生成器时不需要这样做。

此外,增加一些噪音的训练标签也是有帮助的。对于输入识别器的5%的图像,标签被随机翻转。比如真实的被标记为生成的,生成的被标记为真实的。

4、使用批归一化是有用的,但是需要有其他的东西也是合适的

批归一化无疑有助于最终的结果。添加批归一化后,生成的图像明显更清晰。但是,如果你错误地设置了卷积核或滤波器,或者识别器的损失很快达到0,添加批归一化可能并不能真正帮助恢复。

5、每次一个类别

为了更容易地训练GANs,确保输入数据具有相似的特征是很有用的。例如,与其在CIFAR-10的所有10个类中都训练GAN,不如选择一个类(例如,汽车或青蛙)并训练GANs从该类生成图像。DC-GAN的其他变体在学习生成多个类的图像方面做得更好。例如,以类标签为输入,生成基于类标签的图像。但是,如果你从一个普通的DC-GAN开始,最好保持事情简单。

6、查看梯度

如果可能的话,试着监控梯度以及网络中的损失。这些可以帮助你更好地了解训练的进展,甚至可以帮助你在工作不顺利的情况下进行调试。

理想情况下,生成器应该在训练的早期获得较大的梯度,因为它需要学习如何生成真实的数据。另一方面,判别器并不总是在早期获得较大的梯度,因为它可以很容易地区分真假图像。一旦生成器得到足够的训练,判别器就很难分辨真假图像。它会不断出错,并得到大的梯度。

以上这篇解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的重启关机程序实例
Aug 21 Python
深入理解Python中range和xrange的区别
Nov 26 Python
详解Python中如何写控制台进度条的整理
Mar 07 Python
python打包压缩、读取指定目录下的指定类型文件
Apr 12 Python
python用BeautifulSoup库简单爬虫实例分析
Jul 30 Python
Django对数据库进行添加与更新的例子
Jul 12 Python
python Elasticsearch索引建立和数据的上传详解
Aug 04 Python
Python获取对象属性的几种方式小结
Mar 12 Python
jupyter notebook中新建cell的方法与快捷键操作
Apr 22 Python
如何利用python之wxpy模块玩转微信
Aug 17 Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 Python
pytorch中Schedule与warmup_steps的用法说明
May 24 Python
解决keras,val_categorical_accuracy:,0.0000e+00问题
Jul 02 #Python
如何基于Python爬取隐秘的角落评论
Jul 02 #Python
keras中epoch,batch,loss,val_loss用法说明
Jul 02 #Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 #Python
浅谈keras使用预训练模型vgg16分类,损失和准确度不变
Jul 02 #Python
python脚本和网页有何区别
Jul 02 #Python
keras:model.compile损失函数的用法
Jul 01 #Python
You might like
php环境配置 php5 mysql5 apache2 phpmyadmin安装与配置
2006/11/17 PHP
adodb与adodb_lite之比较
2006/12/31 PHP
php静态文件返回304技巧分享
2015/01/06 PHP
php与Mysql的一些简单的操作
2015/02/26 PHP
Symfony核心类概述
2016/03/17 PHP
js模拟实现Array的sort方法
2007/12/11 Javascript
基于jquery1.4.2的仿flash超炫焦点图播放效果
2010/04/20 Javascript
JS的replace方法详细介绍
2012/11/09 Javascript
jQuery实现点击标题输入详细信息
2013/04/16 Javascript
js open() 与showModalDialog()方法使用介绍
2013/09/10 Javascript
使用jquery实现放大镜效果
2014/09/02 Javascript
Node.js事件循环(Event Loop)和线程池详解
2015/01/28 Javascript
在for循环中length值是否需要缓存
2015/07/27 Javascript
jQuery获取页面及个元素高度、宽度的总结——超实用
2015/07/28 Javascript
js图片轮播手动切换效果
2015/11/10 Javascript
相册展示PhotoSwipe.js插件实现
2016/08/25 Javascript
javascript 将共享属性迁移到原型中去的实现方法
2016/08/31 Javascript
利用Vue实现移动端图片轮播组件的方法实例
2017/08/23 Javascript
JS实现table表格固定表头且表头随横向滚动而滚动
2017/10/26 Javascript
VsCode与Node.js知识点详解
2019/09/05 Javascript
微信小程序自定义头部导航栏(组件化)
2019/11/15 Javascript
Python动态加载模块的3种方法
2014/11/22 Python
Django中利用filter与simple_tag为前端自定义函数的实现方法
2017/06/15 Python
Python基于回溯法子集树模板解决马踏棋盘问题示例
2017/09/11 Python
Python基于百度AI的文字识别的示例
2018/04/21 Python
python英语单词测试小程序代码实例
2019/09/09 Python
Python通过两个dataframe用for循环求笛卡尔积
2020/04/29 Python
Django+Uwsgi+Nginx如何实现生产环境部署
2020/07/31 Python
python中pyqtgraph知识点总结
2021/01/26 Python
美国一家著名的手表在线折扣网站:Discount Watch Store
2020/02/24 全球购物
护理专业个人求职简历的自我评价
2013/10/13 职场文书
大学生就业自荐书
2014/06/16 职场文书
2015年仓管员工作总结
2015/04/21 职场文书
2015年社区消防安全工作总结
2015/10/14 职场文书
提取视频中的音频 Python只需要三行代码!
2021/05/10 Python
vue css 相对路径导入问题级踩坑记录
2022/06/05 Vue.js