关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用简单工厂模式来进行Python的设计模式编程
Mar 01 Python
Python中操作符重载用法分析
Apr 29 Python
Python处理文本换行符实例代码
Feb 03 Python
Python实现的根据IP地址计算子网掩码位数功能示例
May 23 Python
python 集合 并集、交集 Series list set 转换的实例
May 29 Python
Python数据可视化之画图
Jan 15 Python
python for和else语句趣谈
Jul 02 Python
python 的 scapy库,实现网卡收发包的例子
Jul 23 Python
详解python pandas 分组统计的方法
Jul 30 Python
使用Python刷淘宝喵币(低阶入门版)
Oct 30 Python
Python拼接字符串的7种方式详解
Mar 19 Python
python运行脚本文件的三种方法实例
Jun 25 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
浅谈PHP的数据库接口和技术
2016/12/09 PHP
Laravel 之url参数,获取路由参数的例子
2019/10/21 PHP
js 新浪的一个图片播放图片轮换效果代码
2008/07/15 Javascript
JavaScript Undefined,Null类型和NaN值区别
2008/10/22 Javascript
基于jquery实现图片广告轮换效果代码
2011/07/07 Javascript
jquery解析xml字符串示例分享
2014/03/25 Javascript
JavaScript阻止事件冒泡示例分享
2014/12/28 Javascript
学习JavaScript编程语言的8张思维导图分享
2015/03/27 Javascript
基于JavaScript创建动态Dom
2015/12/08 Javascript
动态设置form表单的action属性的值的简单方法
2016/05/25 Javascript
js放到head中失效的原因与解决方法
2017/03/07 Javascript
C#微信小程序服务端获取用户解密信息实例代码
2017/03/10 Javascript
基于jquery实现二级联动效果
2017/03/30 jQuery
vue动态生成dom并且自动绑定事件
2017/04/19 Javascript
vue2的todolist入门小项目的详细解析
2017/05/11 Javascript
web前端vue filter 过滤器
2018/01/12 Javascript
JS实现多物体运动的方法详解
2018/01/23 Javascript
详解基于Node.js的HTTP/2 Server实践
2018/05/31 Javascript
JS数组求和的常用方法总结【5种方法】
2019/01/14 Javascript
Node.js 多线程完全指南总结
2019/03/27 Javascript
三分钟教你用Node做一个微信哄女友(基友)神器(面向小白)
2019/06/21 Javascript
在Vue mounted方法中使用data变量详解
2019/11/05 Javascript
javaScript中indexOf用法技巧
2019/11/26 Javascript
浅析Python 序列化与反序列化
2020/08/05 Python
python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解
2021/01/26 Python
详解CSS3选择器:nth-child和:nth-of-type之间的差异
2017/09/18 HTML / CSS
Unineed旗下时尚轻奢网站:FABHunt
2019/05/13 全球购物
Loreto Gallo英国:欧洲领先的在线药房
2021/01/21 全球购物
新驾驶员个人自我评价
2014/01/03 职场文书
安全生产检查通报
2014/01/29 职场文书
食品安全宣传标语
2014/06/07 职场文书
预备党员自我批评思想汇报
2014/10/10 职场文书
销售业务员岗位职责
2015/02/13 职场文书
律政俏佳人观后感
2015/06/09 职场文书
新年祝酒词大全
2015/08/11 职场文书
只用40行Python代码就能写出pdf转word小工具
2021/05/31 Python