关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python脚本实现集群检测和管理功能
Mar 06 Python
详解Python设计模式编程中观察者模式与策略模式的运用
Mar 02 Python
Python的几个高级语法概念浅析(lambda表达式闭包装饰器)
May 28 Python
Tensorflow实现卷积神经网络的详细代码
May 24 Python
Python 中Django安装和使用教程详解
Jul 03 Python
在 Linux/Mac 下为Python函数添加超时时间的方法
Feb 20 Python
django中url映射规则和服务端响应顺序的实现
Apr 02 Python
python 字符串的驻留机制及优缺点
Jun 19 Python
Python3爬虫mitmproxy的安装步骤
Jul 29 Python
calendar在python3时间中常用函数举例详解
Nov 18 Python
python 实现图片修复(可用于去水印)
Nov 19 Python
pycharm配置安装autopep8自动规范代码的实现
Mar 02 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
如何隐藏你的.php文件
2007/01/04 PHP
PHP 读取文件内容代码(txt,js等)
2009/12/06 PHP
PHP中的traits简单使用实例
2015/05/13 PHP
PHP SOCKET编程详解
2015/05/22 PHP
WordPress过滤垃圾评论的几种主要方法小结
2016/07/11 PHP
linux平台编译安装PHP7并安装Redis扩展与Swoole扩展实例教程
2016/09/30 PHP
js option删除代码集合
2008/11/12 Javascript
JavaScript词法作用域与调用对象深入理解
2012/11/29 Javascript
sogou地图API用法实例教程
2014/09/11 Javascript
原生javascript获取元素样式
2014/12/31 Javascript
jquery之别踩白块游戏的简单实现
2016/07/25 Javascript
关于foreach循环中遇到的问题小结
2017/05/08 Javascript
Angular 2 ngForm中的ngModel、[ngModel]和[(ngModel)]的写法
2017/06/29 Javascript
javascript 初学教程及五子棋小程序的简单实现
2017/07/04 Javascript
JS实现弹出下载对话框及常见文件类型的下载
2017/07/13 Javascript
vue+vue-validator 表单验证功能的实现代码
2017/11/13 Javascript
玩转Koa之核心原理分析
2018/12/29 Javascript
在Python的web框架中中编写日志列表的教程
2015/04/30 Python
numpy使用fromstring创建矩阵的实例
2018/06/15 Python
python输出100以内的质数与合数实例代码
2018/07/08 Python
python实现彩票系统
2020/06/28 Python
在pycharm中python切换解释器失败的解决方法
2018/10/29 Python
Linux上使用Python统计每天的键盘输入次数
2019/04/17 Python
PyTorch 解决Dataset和Dataloader遇到的问题
2020/01/08 Python
Python爬取YY评级分数并保存数据实现过程解析
2020/06/01 Python
keras实现调用自己训练的模型,并去掉全连接层
2020/06/09 Python
CSS3 Columns分列式布局方法简介
2014/05/03 HTML / CSS
美国在线鞋类零售商:LifeStride
2019/06/09 全球购物
说出ArrayList,Vector, LinkedList的存储性能和特性
2015/01/04 面试题
如何反序的迭代一个序列?how do I iterate over a sequence in reverse order
2012/02/04 面试题
甲方资料员岗位职责
2013/12/13 职场文书
大学生简短的自我评价分享
2014/02/20 职场文书
事业单位鉴定材料
2014/05/25 职场文书
工作失职自我检讨书
2015/05/05 职场文书
校园歌手大赛主持词
2015/07/03 职场文书
解决pycharm安装scrapy DLL load failed:找不到指定的程序的问题
2021/06/08 Python