pytorch动态网络以及权重共享实例


Posted in Python onJanuary 06, 2020

pytorch 动态网络+权值共享

pytorch以动态图著称,下面以一个栗子来实现动态网络和权值共享技术:

# -*- coding: utf-8 -*-
import random
import torch


class DynamicNet(torch.nn.Module):
  def __init__(self, D_in, H, D_out):
    """
    这里构造了几个向前传播过程中用到的线性函数
    """
    super(DynamicNet, self).__init__()
    self.input_linear = torch.nn.Linear(D_in, H)
    self.middle_linear = torch.nn.Linear(H, H)
    self.output_linear = torch.nn.Linear(H, D_out)

  def forward(self, x):
    """
    For the forward pass of the model, we randomly choose either 0, 1, 2, or 3
    and reuse the middle_linear Module that many times to compute hidden layer
    representations.

    Since each forward pass builds a dynamic computation graph, we can use normal
    Python control-flow operators like loops or conditional statements when
    defining the forward pass of the model.

    Here we also see that it is perfectly safe to reuse the same Module many
    times when defining a computational graph. This is a big improvement from Lua
    Torch, where each Module could be used only once.
    这里中间层每次向前过程中都是随机添加0-3层,而且中间层都是使用的同一个线性层,这样计算时,权值也是用的同一个。
    """
    h_relu = self.input_linear(x).clamp(min=0)
    for _ in range(random.randint(0, 3)):
      h_relu = self.middle_linear(h_relu).clamp(min=0)
    y_pred = self.output_linear(h_relu)
    return y_pred


    # N is batch size; D_in is input dimension;
    # H is hidden dimension; D_out is output dimension.
    N, D_in, H, D_out = 64, 1000, 100, 10

    # Create random Tensors to hold inputs and outputs
    x = torch.randn(N, D_in)
    y = torch.randn(N, D_out)

    # Construct our model by instantiating the class defined above
    model = DynamicNet(D_in, H, D_out)

    # Construct our loss function and an Optimizer. Training this strange model with
    # vanilla stochastic gradient descent is tough, so we use momentum
    criterion = torch.nn.MSELoss(reduction='sum')
    optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9)
    for t in range(500):
      # Forward pass: Compute predicted y by passing x to the model
      y_pred = model(x)

      # Compute and print loss
      loss = criterion(y_pred, y)
      print(t, loss.item())

      # Zero gradients, perform a backward pass, and update the weights.
      optimizer.zero_grad()
      loss.backward()
      optimizer.step()

这个程序实际上是一种RNN结构,在执行过程中动态的构建计算图

References: Pytorch Documentations.

以上这篇pytorch动态网络以及权重共享实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python对两个有序列表进行合并和排序的例子
Jun 13 Python
使用Python的Zato发送AMQP消息的教程
Apr 16 Python
使用基于Python的Tornado框架的HTTP客户端的教程
Apr 24 Python
python实现合并两个数组的方法
May 16 Python
Python爬虫包BeautifulSoup实例(三)
Jun 17 Python
详解python实现识别手写MNIST数字集的程序
Aug 03 Python
python批量识别图片指定区域文字内容
Apr 30 Python
PowerBI和Python关于数据分析的对比
Jul 11 Python
python文档字符串(函数使用说明)使用详解
Jul 30 Python
Python判断远程服务器上Excel文件是否被人打开的方法
Jul 13 Python
彻底解决Python包下载慢问题
Nov 15 Python
利用Opencv实现图片的油画特效实例
Feb 28 Python
selenium中get_cookies()和add_cookie()的用法详解
Jan 06 #Python
pytorch中的自定义反向传播,求导实例
Jan 06 #Python
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
Jan 06 #Python
6行Python代码实现进度条效果(Progress、tqdm、alive-progress​​​​​​​和PySimpleGUI库)
Jan 06 #Python
基于python+selenium的二次封装的实现
Jan 06 #Python
Python使用Tkinter实现滚动抽奖器效果
Jan 06 #Python
Python使用Tkinter实现转盘抽奖器的步骤详解
Jan 06 #Python
You might like
COM in PHP (winows only)
2006/10/09 PHP
php下通过POST还是GET来传值
2008/06/05 PHP
PHP中查询SQL Server或Sybase时TEXT字段被截断的解决方法
2009/03/10 PHP
通过php快速统计某个数据库中每张表的数据量
2012/09/04 PHP
IIS+fastcgi下PHP运行超时问题的解决办法详解
2013/06/20 PHP
10 个经典PHP函数
2013/10/17 PHP
PHP处理大量表单字段的便捷方法
2015/02/07 PHP
浅谈php自定义错误日志
2015/02/13 PHP
thinkphp5.0整合phpsocketio完整攻略(绕坑)
2018/10/12 PHP
javascript字符串拼接的效率问题
2010/12/25 Javascript
js如何调用qq互联api实现第三方登录
2014/03/28 Javascript
JavaScript实现按Ctrl键打开新页面
2014/09/04 Javascript
Node.js开源应用框架HapiJS介绍
2015/01/14 Javascript
jQuery实现的多屏图像图层切换效果实例
2015/05/07 Javascript
jQuery实现页面内锚点平滑跳转特效的方法总结
2015/05/11 Javascript
JavaScript+CSS实现的可折叠二级菜单实例
2016/02/29 Javascript
jquery实现input框获取焦点的方法
2017/02/06 Javascript
JS实现select选中option触发事件操作示例
2018/07/13 Javascript
Vue实现导航栏点击当前标签变色功能
2020/08/19 Javascript
使用JS location实现搜索框历史记录功能
2019/12/23 Javascript
[19:24]DOTA2客户端使用指南 一分钟快速设置轻松超神
2013/09/24 DOTA
python实现电子词典
2020/04/23 Python
Python开发实例分享bt种子爬虫程序和种子解析
2014/05/21 Python
Python守护进程用法实例分析
2015/06/04 Python
Python利用QQ邮箱发送邮件的实现方法(分享)
2017/06/09 Python
Sanic框架基于类的视图用法示例
2018/07/18 Python
Python调用系统命令os.system()和os.popen()的实现
2020/12/31 Python
5分钟弄清楚html5的drag and drop(小结)
2019/04/10 HTML / CSS
基于 HTML5 WebGL 实现的医疗物流系统
2019/10/08 HTML / CSS
中国一家综合的外贸B2C电子商务网站:DealeXtreme(DX)
2020/03/10 全球购物
专业毕业生个性的自我评价
2013/10/03 职场文书
网络维护管理员的自我评价分享
2013/11/11 职场文书
巡警年度自我鉴定
2014/02/21 职场文书
父亲节活动总结
2015/02/12 职场文书
2015年中秋寄语
2015/07/31 职场文书
浅谈Python从全局与局部变量到装饰器的相关知识
2021/06/21 Python