关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中装饰器的一个妙用
Feb 08 Python
简单介绍Python中用于求最小值的min()方法
May 15 Python
Python语言描述机器学习之Logistic回归算法
Dec 21 Python
机器学习之KNN算法原理及Python实现方法详解
Jul 09 Python
在PyCharm中批量查找及替换的方法
Jan 20 Python
python利用selenium进行浏览器爬虫
Apr 25 Python
用pycharm开发django项目示例代码
Jun 13 Python
window7下的python2.7版本和python3.5版本的opencv-python安装过程
Oct 24 Python
Python手绘可视化工具cutecharts使用实例
Dec 05 Python
Python3实现建造者模式的示例代码
Jun 28 Python
python Matplotlib数据可视化(2):详解三大容器对象与常用设置
Sep 30 Python
Python OpenCV超详细讲解基本功能
Apr 02 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
ajax返回值中有回车换行、空格的解决方法分享
2013/10/24 PHP
PHP curl 获取响应的状态码的方法
2014/01/13 PHP
php猜单词游戏
2015/09/29 PHP
深入分析PHP优化及注意事项
2016/07/04 PHP
Python中使用django form表单验证的方法
2017/01/16 PHP
用Javascript读取中文COOKIE的解决办法
2007/02/15 Javascript
Javascript操纵Cookie实现购物车程序
2007/02/15 Javascript
IE与Firefox下javascript getyear年份的兼容性写法
2007/12/20 Javascript
jQuery Tools Dateinput使用介绍
2012/07/14 Javascript
JS跨域总结
2012/08/30 Javascript
javascript获取隐藏dom的宽高 具体实现
2013/07/14 Javascript
js中事件的处理与浏览器对象示例介绍
2013/11/29 Javascript
15款jQuery分布引导插件分享
2015/02/04 Javascript
跟我学习javascript解决异步编程异常方案
2015/11/23 Javascript
js实现上一页下一页的效果【附代码】
2016/03/10 Javascript
javascript中递归的两种写法
2017/01/17 Javascript
javascript checkbox/radio onchange不能兼容ie8处理办法
2017/06/13 Javascript
JavaScript实现的仿新浪微博原生态输入字数即时检查功能【兼容IE6】
2017/09/26 Javascript
vue中子组件传递数据给父组件的讲解
2019/01/27 Javascript
微信小程序开发实现的选项卡(窗口顶部/底部TabBar)页面切换功能图文详解
2019/05/14 Javascript
小程序组件传值和引入sass的方法(使用vant Weapp组件库)
2020/11/24 Javascript
[45:18]2018DOTA2亚洲邀请赛 4.3 突围赛 Optic vs iG 第一场
2018/04/04 DOTA
编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
2016/01/20 Python
python判断一个数是否能被另一个整数整除的实例
2018/12/12 Python
解决python xx.py文件点击完之后一闪而过的问题
2019/06/24 Python
python启动应用程序和终止应用程序的方法
2019/06/28 Python
Python 处理日期时间的Arrow库使用
2020/08/18 Python
应届生自我鉴定
2013/12/11 职场文书
工作睡觉检讨书
2014/02/25 职场文书
药店促销活动策划方案
2014/08/24 职场文书
优秀大学生自荐信
2015/03/26 职场文书
诚信考试承诺书范文
2015/04/29 职场文书
2016年村党支部公开承诺书
2016/03/24 职场文书
公务员的复习计划书,请收下!
2019/07/15 职场文书
浅谈Python基础之列表那些事儿
2021/05/11 Python
Nginx虚拟主机的配置步骤过程全解
2022/03/31 Servers