Pytorch使用MNIST数据集实现基础GAN和DCGAN详解


Posted in Python onJanuary 10, 2020

原始生成对抗网络Generative Adversarial Networks GAN包含生成器Generator和判别器Discriminator,数据有真实数据groundtruth,还有需要网络生成的“fake”数据,目的是网络生成的fake数据可以“骗过”判别器,让判别器认不出来,就是让判别器分不清进入的数据是真实数据还是fake数据。总的来说是:判别器区分真实数据和fake数据的能力越强越好;生成器生成的数据骗过判别器的能力越强越好,这个是矛盾的,所以只能交替训练网络。

需要搭建生成器网络和判别器网络,训练的时候交替训练。

首先训练判别器的参数,固定生成器的参数,让判别器判断生成器生成的数据,让其和0接近,让判别器判断真实数据,让其和1接近;

接着训练生成器的参数,固定判别器的参数,让生成器生成的数据进入判别器,让判断结果和1接近。生成器生成数据需要给定随机初始值

线性版:

import torch
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision import transforms
from torch import optim
import torch.nn as nn
import matplotlib.pyplot as plt
import numpy as np
import matplotlib.gridspec as gridspec
 
def showimg(images,count):
 images=images.detach().numpy()[0:16,:]
 images=255*(0.5*images+0.5)
 images = images.astype(np.uint8)
 grid_length=int(np.ceil(np.sqrt(images.shape[0])))
 plt.figure(figsize=(4,4))
 width = int(np.sqrt((images.shape[1])))
 gs = gridspec.GridSpec(grid_length,grid_length,wspace=0,hspace=0)
 # gs.update(wspace=0, hspace=0)
 print('starting...')
 for i, img in enumerate(images):
 ax = plt.subplot(gs[i])
 ax.set_xticklabels([])
 ax.set_yticklabels([])
 ax.set_aspect('equal')
 plt.imshow(img.reshape([width,width]),cmap = plt.cm.gray)
 plt.axis('off')
 plt.tight_layout()
 print('showing...')
 plt.tight_layout()
 plt.savefig('./GAN_Image/%d.png'%count, bbox_inches='tight')
 
def loadMNIST(batch_size): #MNIST图片的大小是28*28
 trans_img=transforms.Compose([transforms.ToTensor()])
 trainset=MNIST('./data',train=True,transform=trans_img,download=True)
 testset=MNIST('./data',train=False,transform=trans_img,download=True)
 # device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
 trainloader=DataLoader(trainset,batch_size=batch_size,shuffle=True,num_workers=10)
 testloader = DataLoader(testset, batch_size=batch_size, shuffle=False, num_workers=10)
 return trainset,testset,trainloader,testloader
 
class discriminator(nn.Module):
 def __init__(self):
 super(discriminator,self).__init__()
 self.dis=nn.Sequential(
  nn.Linear(784,300),
  nn.LeakyReLU(0.2),
  nn.Linear(300,150),
  nn.LeakyReLU(0.2),
  nn.Linear(150,1),
  nn.Sigmoid()
 )
 def forward(self, x):
 x=self.dis(x)
 return x
 
class generator(nn.Module):
 def __init__(self,input_size):
 super(generator,self).__init__()
 self.gen=nn.Sequential(
  nn.Linear(input_size,150),
  nn.ReLU(True),
  nn.Linear(150,300),
  nn.ReLU(True),
  nn.Linear(300,784),
  nn.Tanh()
 )
 def forward(self, x):
 x=self.gen(x)
 return x
 
if __name__=="__main__":
 criterion=nn.BCELoss()
 num_img=100
 z_dimension=100
 D=discriminator()
 G=generator(z_dimension)
 trainset, testset, trainloader, testloader = loadMNIST(num_img) # data
 d_optimizer=optim.Adam(D.parameters(),lr=0.0003)
 g_optimizer=optim.Adam(G.parameters(),lr=0.0003)
 '''
 交替训练的方式训练网络
 先训练判别器网络D再训练生成器网络G
 不同网络的训练次数是超参数
 也可以两个网络训练相同的次数
 这样就可以不用分别训练两个网络
 '''
 count=0
 #鉴别器D的训练,固定G的参数
 epoch = 100
 gepoch = 1
 for i in range(epoch):
 for (img, label) in trainloader:
  # num_img=img.size()[0]
  real_img=img.view(num_img,-1)#展开为28*28=784
  real_label=torch.ones(num_img)#真实label为1
  fake_label=torch.zeros(num_img)#假的label为0
 
  #compute loss of real_img
  real_out=D(real_img) #真实图片送入判别器D输出0~1
  d_loss_real=criterion(real_out,real_label)#得到loss
  real_scores=real_out#真实图片放入判别器输出越接近1越好
 
  #compute loss of fake_img
  z=torch.randn(num_img,z_dimension)#随机生成向量
  fake_img=G(z)#将向量放入生成网络G生成一张图片
  fake_out=D(fake_img)#判别器判断假的图片
  d_loss_fake=criterion(fake_out,fake_label)#假的图片的loss
  fake_scores=fake_out#假的图片放入判别器输出越接近0越好
 
  #D bp and optimize
  d_loss=d_loss_real+d_loss_fake
  d_optimizer.zero_grad() #判别器D的梯度归零
  d_loss.backward() #反向传播
  d_optimizer.step() #更新判别器D参数
 
  #生成器G的训练compute loss of fake_img
  for j in range(gepoch):
  fake_label = torch.ones(num_img) # 真实label为1
  z = torch.randn(num_img, z_dimension) # 随机生成向量
  fake_img = G(z) # 将向量放入生成网络G生成一张图片
  output = D(fake_img) # 经过判别器得到结果
  g_loss = criterion(output, fake_label)#得到假的图片与真实标签的loss
  #bp and optimize
  g_optimizer.zero_grad() #生成器G的梯度归零
  g_loss.backward() #反向传播
  g_optimizer.step()#更新生成器G参数
 print('Epoch [{}/{}], d_loss: {:.6f}, g_loss: {:.6f} '
   'D real: {:.6f}, D fake: {:.6f}'.format(
  i, epoch, d_loss.data[0], g_loss.data[0],
  real_scores.data.mean(), fake_scores.data.mean()))
 showimg(fake_img,count)
 # plt.show()
 count += 1

这里的图分别是 epoch为0、50、100、150、190的运行结果,可以看到图片中的数字并不单一

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

卷积版 Deep Convolutional Generative Adversarial Networks:

import torch
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision import transforms
from torch import optim
import torch.nn as nn
import matplotlib.pyplot as plt
import numpy as np
from torch.autograd import Variable
 
import matplotlib.gridspec as gridspec
import os
 
def showimg(images,count):
 images=images.to('cpu')
 images=images.detach().numpy()
 images=images[[6, 12, 18, 24, 30, 36, 42, 48, 54, 60, 66, 72, 78, 84, 90, 96]]
 images=255*(0.5*images+0.5)
 images = images.astype(np.uint8)
 grid_length=int(np.ceil(np.sqrt(images.shape[0])))
 plt.figure(figsize=(4,4))
 width = images.shape[2]
 gs = gridspec.GridSpec(grid_length,grid_length,wspace=0,hspace=0)
 print(images.shape)
 for i, img in enumerate(images):
 ax = plt.subplot(gs[i])
 ax.set_xticklabels([])
 ax.set_yticklabels([])
 ax.set_aspect('equal')
 plt.imshow(img.reshape(width,width),cmap = plt.cm.gray)
 plt.axis('off')
 plt.tight_layout()
# print('showing...')
 plt.tight_layout()
# plt.savefig('./GAN_Imaget/%d.png'%count, bbox_inches='tight')
 
def loadMNIST(batch_size): #MNIST图片的大小是28*28
 trans_img=transforms.Compose([transforms.ToTensor()])
 trainset=MNIST('./data',train=True,transform=trans_img,download=True)
 testset=MNIST('./data',train=False,transform=trans_img,download=True)
 # device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
 trainloader=DataLoader(trainset,batch_size=batch_size,shuffle=True,num_workers=10)
 testloader = DataLoader(testset, batch_size=batch_size, shuffle=False, num_workers=10)
 return trainset,testset,trainloader,testloader
 
class discriminator(nn.Module):
 def __init__(self):
 super(discriminator,self).__init__()
 self.dis=nn.Sequential(
  nn.Conv2d(1,32,5,stride=1,padding=2),
  nn.LeakyReLU(0.2,True),
  nn.MaxPool2d((2,2)),
 
  nn.Conv2d(32,64,5,stride=1,padding=2),
  nn.LeakyReLU(0.2,True),
  nn.MaxPool2d((2,2))
 )
 self.fc=nn.Sequential(
  nn.Linear(7 * 7 * 64, 1024),
  nn.LeakyReLU(0.2, True),
  nn.Linear(1024, 1),
  nn.Sigmoid()
 )
 def forward(self, x):
 x=self.dis(x)
 x=x.view(x.size(0),-1)
 x=self.fc(x)
 return x
 
class generator(nn.Module):
 def __init__(self,input_size,num_feature):
 super(generator,self).__init__()
 self.fc=nn.Linear(input_size,num_feature) #1*56*56
 self.br=nn.Sequential(
  nn.BatchNorm2d(1),
  nn.ReLU(True)
 )
 self.gen=nn.Sequential(
  nn.Conv2d(1,50,3,stride=1,padding=1),
  nn.BatchNorm2d(50),
  nn.ReLU(True),
 
  nn.Conv2d(50,25,3,stride=1,padding=1),
  nn.BatchNorm2d(25),
  nn.ReLU(True),
 
  nn.Conv2d(25,1,2,stride=2),
  nn.Tanh()
 )
 def forward(self, x):
 x=self.fc(x)
 x=x.view(x.size(0),1,56,56)
 x=self.br(x)
 x=self.gen(x)
 return x
 
if __name__=="__main__":
 criterion=nn.BCELoss()
 num_img=100
 z_dimension=100
 D=discriminator()
 G=generator(z_dimension,3136) #1*56*56
 trainset, testset, trainloader, testloader = loadMNIST(num_img) # data
 D=D.cuda()
 G=G.cuda()
 d_optimizer=optim.Adam(D.parameters(),lr=0.0003)
 g_optimizer=optim.Adam(G.parameters(),lr=0.0003)
 '''
 交替训练的方式训练网络
 先训练判别器网络D再训练生成器网络G
 不同网络的训练次数是超参数
 也可以两个网络训练相同的次数,
 这样就可以不用分别训练两个网络
 '''
 count=0
 #鉴别器D的训练,固定G的参数
 epoch = 100
 gepoch = 1
 for i in range(epoch):
 for (img, label) in trainloader:
  # num_img=img.size()[0]
  img=Variable(img).cuda()
  real_label=Variable(torch.ones(num_img)).cuda()#真实label为1
  fake_label=Variable(torch.zeros(num_img)).cuda()#假的label为0
 
  #compute loss of real_img
  real_out=D(img) #真实图片送入判别器D输出0~1
  d_loss_real=criterion(real_out,real_label)#得到loss
  real_scores=real_out#真实图片放入判别器输出越接近1越好
 
  #compute loss of fake_img
  z=Variable(torch.randn(num_img,z_dimension)).cuda()#随机生成向量
  fake_img=G(z)#将向量放入生成网络G生成一张图片
  fake_out=D(fake_img)#判别器判断假的图片
  d_loss_fake=criterion(fake_out,fake_label)#假的图片的loss
  fake_scores=fake_out#假的图片放入判别器输出越接近0越好
 
  #D bp and optimize
  d_loss=d_loss_real+d_loss_fake
  d_optimizer.zero_grad() #判别器D的梯度归零
  d_loss.backward() #反向传播
  d_optimizer.step() #更新判别器D参数
 
  #生成器G的训练compute loss of fake_img
  for j in range(gepoch):
  fake_label = Variable(torch.ones(num_img)).cuda() # 真实label为1
  z = Variable(torch.randn(num_img, z_dimension)).cuda() # 随机生成向量
  fake_img = G(z) # 将向量放入生成网络G生成一张图片
  output = D(fake_img) # 经过判别器得到结果
  g_loss = criterion(output, fake_label)#得到假的图片与真实标签的loss
  #bp and optimize
  g_optimizer.zero_grad() #生成器G的梯度归零
  g_loss.backward() #反向传播
  g_optimizer.step()#更新生成器G参数
  # if ((i+1)%1000==0):
  # print("[%d/%d] GLoss: %.5f" % (i + 1, gepoch, g_loss.data[0]))
 print('Epoch [{}/{}], d_loss: {:.6f}, g_loss: {:.6f} '
   'D real: {:.6f}, D fake: {:.6f}'.format(
  i, epoch, d_loss.data[0], g_loss.data[0],
  real_scores.data.mean(), fake_scores.data.mean()))
 showimg(fake_img,count)
 plt.show()
 count += 1

这里的gepoch设置为1,运行39次的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

gepoch设置为2,运行0、25、50、75、100次的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

gepoch设置为3,运行25、50、75次的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

gepoch设置为4,运行0、10、20、30、35次的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

gepoch设置为5,运行0、10、20、25、29次的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

gepoch设置为3,z_dimension设置为190,epoch运行0、10、15、20、25、35的结果是:

Pytorch使用MNIST数据集实现基础GAN和DCGAN详解

可以看到生成的数字基本没有太多的规律,可能最终都是同个数字,不能生成指定的数字,CGAN就很好的解决这个问题,可以生成指定的数字 Pytorch使用MNIST数据集实现CGAN和生成指定的数字方式

以上这篇Pytorch使用MNIST数据集实现基础GAN和DCGAN详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则分组的应用
Nov 10 Python
详解Python中内置的NotImplemented类型的用法
Mar 31 Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 Python
Python的requests网络编程包使用教程
Jul 11 Python
请不要重复犯我在学习Python和Linux系统上的错误
Dec 12 Python
python导出hive数据表的schema实例代码
Jan 22 Python
Python3多进程 multiprocessing 模块实例详解
Jun 11 Python
使用python对文件中的数值进行累加的实例
Nov 28 Python
Win系统PyQt5安装和使用教程
Dec 25 Python
基于Python3.6中的OpenCV实现图片色彩空间的转换
Feb 03 Python
python+opencv实现车道线检测
Feb 19 Python
python爬取企查查企业信息之selenium自动模拟登录企查查
Apr 08 Python
Pytorch使用MNIST数据集实现CGAN和生成指定的数字方式
Jan 10 #Python
pytorch实现mnist分类的示例讲解
Jan 10 #Python
pytorch 准备、训练和测试自己的图片数据的方法
Jan 10 #Python
pytorch GAN伪造手写体mnist数据集方式
Jan 10 #Python
MNIST数据集转化为二维图片的实现示例
Jan 10 #Python
pytorch:实现简单的GAN示例(MNIST数据集)
Jan 10 #Python
pytorch GAN生成对抗网络实例
Jan 10 #Python
You might like
php学习笔记之面向对象编程
2012/12/29 PHP
thinkphp实现图片上传功能
2016/01/13 PHP
jQuery+php简单实现全选删除的方法
2016/11/28 PHP
jQuery选择头像并实时显示的代码
2010/06/27 Javascript
js常用排序实现代码
2010/12/28 Javascript
让ie6也支持websocket采用flash封装实现
2013/02/18 Javascript
JS比较两个时间大小的简单示例代码
2013/12/20 Javascript
鼠标经过子元素触发mouseout,mouseover事件的解决方案
2015/07/26 Javascript
tuzhu_req.js 实现仿百度图片首页效果
2015/08/11 Javascript
laydate 显示结束时间不小于开始时间的实例
2017/08/11 Javascript
微信小程序使用navigateTo数据传递的实例
2017/09/26 Javascript
详解Vue用自定义指令完成一个下拉菜单(select组件)
2017/10/31 Javascript
JS实现图片拖拽交换效果
2018/11/30 Javascript
小程序实现授权登陆的解决方案
2018/12/02 Javascript
nodejs基础之多进程实例详解
2018/12/27 NodeJs
Vue 打包的静态文件不能直接运行的原因及解决办法
2020/11/19 Vue.js
[56:42]完美世界DOTA2联赛循环赛 Matador vs Forest 第二场 11.06
2020/11/06 DOTA
python使用reportlab实现图片转换成pdf的方法
2015/05/22 Python
zookeeper python接口实例详解
2018/01/18 Python
python指定写入文件时的编码格式方法
2018/06/07 Python
python调用摄像头显示图像的实例
2018/08/03 Python
Python中dict和set的用法讲解
2019/03/28 Python
python通过对字典的排序,对json字段进行排序的实例
2020/02/27 Python
PyInstaller运行原理及常用操作详解
2020/06/13 Python
html5指南-6.如何创建离线web应用程序实现离线访问
2013/01/07 HTML / CSS
HTML5+CSS3模仿优酷视频截图功能示例
2017/01/05 HTML / CSS
Groupon荷兰官方网站:高达70%的折扣
2019/11/01 全球购物
英国时尚配饰、珠宝和服装网站:KJ Beckett
2020/01/23 全球购物
设置器与访问器的定义以及各自特点
2016/01/08 面试题
现金出纳岗位职责
2014/03/15 职场文书
岗位明星事迹材料
2014/05/18 职场文书
在校学生证明格式
2015/06/24 职场文书
2016暑期社会实践新闻稿
2015/11/25 职场文书
2016年七夕爱情寄语
2015/12/04 职场文书
聊聊SpringBoot自动装配的魔力
2021/11/17 Java/Android
使用CSS设置滚动条样式
2022/01/18 HTML / CSS