pytorch对可变长度序列的处理方法详解


Posted in Python onDecember 08, 2018

主要是用函数torch.nn.utils.rnn.PackedSequence()和torch.nn.utils.rnn.pack_padded_sequence()以及torch.nn.utils.rnn.pad_packed_sequence()来进行的,分别来看看这三个函数的用法。

1、torch.nn.utils.rnn.PackedSequence()

NOTE: 这个类的实例不能手动创建。它们只能被 pack_padded_sequence() 实例化。

PackedSequence对象包括:

一个data对象:一个torch.Variable(令牌的总数,每个令牌的维度),在这个简单的例子中有五个令牌序列(用整数表示):(18,1)

一个batch_sizes对象:每个时间步长的令牌数列表,在这个例子中为:[6,5,2,4,1]

用pack_padded_sequence函数来构造这个对象非常的简单:

pytorch对可变长度序列的处理方法详解

如何构造一个PackedSequence对象(batch_first = True)

PackedSequence对象有一个很不错的特性,就是我们无需对序列解包(这一步操作非常慢)即可直接在PackedSequence数据变量上执行许多操作。特别是我们可以对令牌执行任何操作(即对令牌的顺序/上下文不敏感)。当然,我们也可以使用接受PackedSequence作为输入的任何一个pyTorch模块(pyTorch 0.2)。

2、torch.nn.utils.rnn.pack_padded_sequence()

这里的pack,理解成压紧比较好。 将一个 填充过的变长序列 压紧。(填充时候,会有冗余,所以压紧一下)

输入的形状可以是(T×B×* )。T是最长序列长度,B是batch size,*代表任意维度(可以是0)。如果batch_first=True的话,那么相应的 input size 就是 (B×T×*)。

Variable中保存的序列,应该按序列长度的长短排序,长的在前,短的在后。即input[:,0]代表的是最长的序列,input[:, B-1]保存的是最短的序列。

NOTE: 只要是维度大于等于2的input都可以作为这个函数的参数。你可以用它来打包labels,然后用RNN的输出和打包后的labels来计算loss。通过PackedSequence对象的.data属性可以获取 Variable。

参数说明:

input (Variable) ? 变长序列 被填充后的 batch

lengths (list[int]) ? Variable 中 每个序列的长度。

batch_first (bool, optional) ? 如果是True,input的形状应该是B*T*size。

返回值:

一个PackedSequence 对象。

3、torch.nn.utils.rnn.pad_packed_sequence()

填充packed_sequence。

上面提到的函数的功能是将一个填充后的变长序列压紧。 这个操作和pack_padded_sequence()是相反的。把压紧的序列再填充回来。

返回的Varaible的值的size是 T×B×*, T 是最长序列的长度,B 是 batch_size,如果 batch_first=True,那么返回值是B×T×*。

Batch中的元素将会以它们长度的逆序排列。

参数说明:

sequence (PackedSequence) ? 将要被填充的 batch

batch_first (bool, optional) ? 如果为True,返回的数据的格式为 B×T×*。

返回值: 一个tuple,包含被填充后的序列,和batch中序列的长度列表。

例子:

import torch
import torch.nn as nn
from torch.autograd import Variable
from torch.nn import utils as nn_utils
batch_size = 2
max_length = 3
hidden_size = 2
n_layers =1
 
tensor_in = torch.FloatTensor([[1, 2, 3], [1, 0, 0]]).resize_(2,3,1)
tensor_in = Variable( tensor_in ) #[batch, seq, feature], [2, 3, 1]
seq_lengths = [3,1] # list of integers holding information about the batch size at each sequence step
 
# pack it
pack = nn_utils.rnn.pack_padded_sequence(tensor_in, seq_lengths, batch_first=True)
 
# initialize
rnn = nn.RNN(1, hidden_size, n_layers, batch_first=True)
h0 = Variable(torch.randn(n_layers, batch_size, hidden_size))
 
#forward
out, _ = rnn(pack, h0)
 
# unpack
unpacked = nn_utils.rnn.pad_packed_sequence(out)
print('111',unpacked)

输出:

111 (Variable containing:
(0 ,.,.) =
 0.5406 0.3584
 -0.1403 0.0308
 
(1 ,.,.) =
 -0.6855 -0.9307
 0.0000 0.0000
[torch.FloatTensor of size 2x2x2]
, [2, 1])

以上这篇pytorch对可变长度序列的处理方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
对于Python编程中一些重用与缩减的建议
Apr 14 Python
详解Python进程间通信之命名管道
Aug 28 Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 Python
Python使用Matplotlib模块时坐标轴标题中文及各种特殊符号显示方法
May 04 Python
python3中os.path模块下常用的用法总结【推荐】
Sep 16 Python
Python访问MongoDB,并且转换成Dataframe的方法
Oct 15 Python
python基于C/S模式实现聊天室功能
Jan 09 Python
Python元组常见操作示例
Feb 19 Python
基于python的socket实现单机五子棋到双人对战
Mar 24 Python
python面试题之列表声明实例分析
Jul 08 Python
python实现学生管理系统开发
Jul 24 Python
Python基于unittest实现测试用例执行
Nov 25 Python
pytorch 转换矩阵的维数位置方法
Dec 08 #Python
pytorch 调整某一维度数据顺序的方法
Dec 08 #Python
Python操作mongodb数据库的方法详解
Dec 08 #Python
Opencv+Python 色彩通道拆分及合并的示例
Dec 08 #Python
python-opencv颜色提取分割方法
Dec 08 #Python
使用python将图片按标签分入不同文件夹的方法
Dec 08 #Python
对python的输出和输出格式详解
Dec 08 #Python
You might like
高性能PHP框架Symfony2经典入门教程
2014/07/08 PHP
[原创]静态页面也可以实现预览 列表不同的显示方式
2006/10/14 Javascript
javascript 冒号 使用说明
2009/06/06 Javascript
JQuery 弹出框定位实现方法
2010/12/02 Javascript
js 时间函数应用加、减、比较、格式转换的示例代码
2013/08/23 Javascript
Javascript 实现的数独解题算法网页实例
2013/10/15 Javascript
JavaScript对内存分配及管理机制详细解析
2013/11/11 Javascript
超级给力的JavaScript的React框架入门教程
2015/07/02 Javascript
jQuery的position()方法详解
2015/07/19 Javascript
整理Javascript数组学习笔记
2015/11/29 Javascript
详解js的事件处理函数和动态创建html标记方法
2016/12/16 Javascript
angularjs中ng-attr的用法详解
2016/12/31 Javascript
Scala解析Json字符串的实例详解
2017/10/11 Javascript
Angular6 发送手机验证码按钮倒计时效果实现方法
2019/01/08 Javascript
Vee-validate 父组件获取子组件表单校验结果的实例代码
2019/05/20 Javascript
如何配置vue.config.js 处理static文件夹下的静态文件
2020/06/19 Javascript
在Python中使用PIL模块处理图像的教程
2015/04/29 Python
python使用pil生成图片验证码的方法
2015/05/08 Python
详解JavaScript编程中的window与window.screen对象
2015/10/26 Python
python实现人脸识别代码
2017/11/08 Python
使用Python读取安卓手机的屏幕分辨率方法
2018/03/31 Python
Python实现求解括号匹配问题的方法
2018/04/17 Python
基于python批量处理dat文件及科学计算方法详解
2018/05/08 Python
python使用turtle绘制分形树
2018/06/22 Python
Python退火算法在高次方程的应用
2018/07/26 Python
Python实现DDos攻击实例详解
2019/02/02 Python
python3 requests库实现多图片爬取教程
2019/12/18 Python
python dataframe NaN处理方式
2019/12/26 Python
python用Tkinter做自己的中文代码编辑器
2020/09/07 Python
详解CSS3中@media的实际使用
2015/08/04 HTML / CSS
详解rem 适配布局
2018/10/31 HTML / CSS
美国受欢迎的眼影品牌:BH Cosmetics
2016/10/25 全球购物
新加坡最受追捧的体验平台:Hapz
2018/01/01 全球购物
化妆品店促销方案
2014/02/24 职场文书
2014年教师业务学习材料
2014/05/12 职场文书
分享CSS盒子模型隐藏的几种方式
2022/02/28 HTML / CSS