pytorch动态网络以及权重共享实例


Posted in Python onJanuary 06, 2020

pytorch 动态网络+权值共享

pytorch以动态图著称,下面以一个栗子来实现动态网络和权值共享技术:

# -*- coding: utf-8 -*-
import random
import torch


class DynamicNet(torch.nn.Module):
  def __init__(self, D_in, H, D_out):
    """
    这里构造了几个向前传播过程中用到的线性函数
    """
    super(DynamicNet, self).__init__()
    self.input_linear = torch.nn.Linear(D_in, H)
    self.middle_linear = torch.nn.Linear(H, H)
    self.output_linear = torch.nn.Linear(H, D_out)

  def forward(self, x):
    """
    For the forward pass of the model, we randomly choose either 0, 1, 2, or 3
    and reuse the middle_linear Module that many times to compute hidden layer
    representations.

    Since each forward pass builds a dynamic computation graph, we can use normal
    Python control-flow operators like loops or conditional statements when
    defining the forward pass of the model.

    Here we also see that it is perfectly safe to reuse the same Module many
    times when defining a computational graph. This is a big improvement from Lua
    Torch, where each Module could be used only once.
    这里中间层每次向前过程中都是随机添加0-3层,而且中间层都是使用的同一个线性层,这样计算时,权值也是用的同一个。
    """
    h_relu = self.input_linear(x).clamp(min=0)
    for _ in range(random.randint(0, 3)):
      h_relu = self.middle_linear(h_relu).clamp(min=0)
    y_pred = self.output_linear(h_relu)
    return y_pred


    # N is batch size; D_in is input dimension;
    # H is hidden dimension; D_out is output dimension.
    N, D_in, H, D_out = 64, 1000, 100, 10

    # Create random Tensors to hold inputs and outputs
    x = torch.randn(N, D_in)
    y = torch.randn(N, D_out)

    # Construct our model by instantiating the class defined above
    model = DynamicNet(D_in, H, D_out)

    # Construct our loss function and an Optimizer. Training this strange model with
    # vanilla stochastic gradient descent is tough, so we use momentum
    criterion = torch.nn.MSELoss(reduction='sum')
    optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9)
    for t in range(500):
      # Forward pass: Compute predicted y by passing x to the model
      y_pred = model(x)

      # Compute and print loss
      loss = criterion(y_pred, y)
      print(t, loss.item())

      # Zero gradients, perform a backward pass, and update the weights.
      optimizer.zero_grad()
      loss.backward()
      optimizer.step()

这个程序实际上是一种RNN结构,在执行过程中动态的构建计算图

References: Pytorch Documentations.

以上这篇pytorch动态网络以及权重共享实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中的函数用法入门教程
Sep 02 Python
python实现清屏的方法
Apr 30 Python
python类和继承用法实例
Jul 07 Python
python动态加载包的方法小结
Apr 18 Python
详解pyqt5 动画在QThread线程中无法运行问题
May 05 Python
python 读取txt,json和hdf5文件的实例
Jun 05 Python
NLTK 3.2.4 环境搭建教程
Sep 19 Python
Python3.6实现根据电影名称(支持电视剧名称),获取下载链接的方法
Aug 26 Python
DJango的创建和使用详解(默认数据库sqlite3)
Nov 18 Python
python爬虫之遍历单个域名
Nov 20 Python
使用numpy nonzero 找出非0元素
May 14 Python
Python 装饰器(decorator)常用的创建方式及解析
Apr 24 Python
selenium中get_cookies()和add_cookie()的用法详解
Jan 06 #Python
pytorch中的自定义反向传播,求导实例
Jan 06 #Python
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
Jan 06 #Python
6行Python代码实现进度条效果(Progress、tqdm、alive-progress​​​​​​​和PySimpleGUI库)
Jan 06 #Python
基于python+selenium的二次封装的实现
Jan 06 #Python
Python使用Tkinter实现滚动抽奖器效果
Jan 06 #Python
Python使用Tkinter实现转盘抽奖器的步骤详解
Jan 06 #Python
You might like
php中require和require_once的区别说明
2014/02/27 PHP
php中session退出登陆问题
2014/02/27 PHP
PHP中filter函数校验数据的方法详解
2015/07/31 PHP
PHP7 参数处理机制修改
2021/03/09 PHP
用javascript操作xml
2006/11/04 Javascript
jQuery html()等方法介绍
2009/11/18 Javascript
js 遍历对象的属性的代码
2011/12/29 Javascript
jquery 面包屑导航 具体实现
2013/06/05 Javascript
Jquery图片延迟加载插件jquery.lazyload.js的使用方法
2014/05/21 Javascript
js立即执行函数: (function ( ){})( ) 与 (function ( ){}( )) 有什么区别?
2015/11/18 Javascript
JavaScript与HTML的结合方法详解
2015/11/23 Javascript
JavaScript笔记之数据属性和存储器属性
2016/03/31 Javascript
js重写方法的简单实现
2016/07/10 Javascript
基于百度地图实现产品销售的单位位置查看功能设计与实现
2016/10/21 Javascript
微信小程序开发之map地图实现教程
2017/06/08 Javascript
详解JavaScript按概率随机生成事件
2017/08/02 Javascript
vue和webpack安装命令详解
2018/06/15 Javascript
Nodejs监控事件循环异常示例详解
2019/09/22 NodeJs
Vue3 中的数据侦测的实现
2019/10/09 Javascript
vue路由拦截器和请求拦截器知识点总结
2019/11/08 Javascript
[02:34]DOTA2亚洲邀请赛 BG战队出场宣传片
2015/03/09 DOTA
[04:10]2016国际邀请赛中国区预选赛第二日TOP10精彩集锦
2016/06/28 DOTA
python实现360皮肤按钮控件示例
2014/02/21 Python
浅谈django三种缓存模式的使用及注意点
2018/09/30 Python
Python3使用Matplotlib 绘制精美的数学函数图形
2019/04/11 Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
2019/08/19 Python
python进行二次方程式计算的实例讲解
2020/12/06 Python
意大利体育用品网上商城:Nencini Sport
2016/08/18 全球购物
数据库专业英语
2012/11/30 面试题
大学生毕业自我评价范文分享
2013/11/07 职场文书
护士自我介绍信
2014/01/13 职场文书
优秀中学生事迹材料
2014/01/31 职场文书
法律专业求职信
2014/05/24 职场文书
计算机网络专业求职信
2014/06/05 职场文书
家访教师心得体会
2016/01/23 职场文书
SQL Server使用导出向导功能
2022/04/08 SQL Server