关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python基类函数的重载与调用实例分析
Jan 12 Python
在Python的Tornado框架中实现简单的在线代理的教程
May 02 Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 Python
Python微信企业号开发之回调模式接收微信端客户端发送消息及被动返回消息示例
Aug 21 Python
读取json格式为DataFrame(可转为.csv)的实例讲解
Jun 05 Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 Python
python获取txt文件词向量过程详解
Jul 05 Python
自定义django admin model表单提交的例子
Aug 23 Python
Python实现Word表格转成Excel表格的示例代码
Apr 16 Python
python中setuptools的作用是什么
Jun 19 Python
Pygame如何使用精灵和碰撞检测
Nov 17 Python
Python实现数据的序列化操作详解
Jul 07 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
PHP 日期时间函数的高级应用技巧
2009/10/10 PHP
PHP实现的超长文本分页显示功能示例
2018/06/04 PHP
php实现的PDO异常处理操作分析
2018/12/27 PHP
PHP消息队列实现及应用详解【队列处理订单系统和配送系统】
2019/05/20 PHP
对象的类型:本地对象(1)
2006/12/29 Javascript
getElementsByTagName vs selectNodes效率 及兼容的selectNodes实现
2010/02/26 Javascript
Jquery+JSon 无刷新分页实现代码
2010/04/01 Javascript
js控制滚动条缓慢滚动到顶部实现代码
2013/03/20 Javascript
提示$ is not defined错误分析及解决
2013/04/09 Javascript
jquery分页插件AmSetPager(自写)
2013/04/15 Javascript
JavaScript中使用arguments获得函数传参个数实例
2014/08/27 Javascript
jQuery中remove()方法用法实例
2014/12/25 Javascript
JavaScript数组和循环详解
2015/04/27 Javascript
jquery实现的缩略图预览滑块实例
2015/06/25 Javascript
学习使用grunt来打包JavaScript和CSS程序的教程
2016/01/04 Javascript
Backbone View 之间通信的三种方式
2016/08/09 Javascript
js前端面试题及答案整理(一)
2016/08/26 Javascript
Bootstrap菜单按钮及导航实例解析
2016/09/09 Javascript
jQuery animate()实现背景色渐变效果的处理方法【使用jQuery.color.js插件】
2017/03/15 Javascript
实例讲解DataTables固定表格宽度(设置横向滚动条)
2017/07/11 Javascript
vue项目实现记住密码到cookie功能示例(附源码)
2018/01/31 Javascript
详解性能更优越的小程序图片懒加载方式
2018/07/18 Javascript
Angular4.0动画操作实例详解
2019/05/10 Javascript
Angular进行简单单元测试的实现方法实例
2020/08/16 Javascript
JS中箭头函数与this的写法和理解
2021/01/14 Javascript
在Python的Flask框架中使用模版的入门教程
2015/04/20 Python
对Python3中的print函数以及与python2的对比分析
2018/05/02 Python
用Python编写一个高效的端口扫描器的方法
2018/12/20 Python
Python数据抓取爬虫代理防封IP方法
2018/12/23 Python
Pycharm运行加载文本出现错误的解决方法
2019/06/27 Python
python匿名函数用法实例分析
2019/08/03 Python
SKECHERS官方旗舰店:美国舒适运动休闲品牌
2017/12/22 全球购物
公司授权委托书格式样本
2014/10/01 职场文书
预备党员转正材料
2014/12/19 职场文书
《跨越海峡的生命桥》教学反思
2016/02/18 职场文书
2019入党申请书范文3篇
2019/08/21 职场文书