pytorch 实现多个Dataloader同时训练


Posted in Python onMay 29, 2021

看代码吧~

pytorch 实现多个Dataloader同时训练

如果两个dataloader的长度不一样,那就加个:

from itertools import cycle

仅使用zip,迭代器将在长度等于最小数据集的长度时耗尽。 但是,使用cycle时,我们将再次重复最小的数据集,除非迭代器查看最大数据集中的所有样本。

pytorch 实现多个Dataloader同时训练

补充:pytorch技巧:自定义数据集 torch.utils.data.DataLoader 及Dataset的使用

本博客中有可直接运行的例子,便于直观的理解,在torch环境中运行即可。

1. 数据传递机制

在 pytorch 中数据传递按一下顺序:

1、创建 datasets ,也就是所需要读取的数据集。

2、把 datasets 传入DataLoader。

3、DataLoader迭代产生训练数据提供给模型。

2. torch.utils.data.Dataset

Pytorch提供两种数据集:

Map式数据集 Iterable式数据集。其中Map式数据集继承torch.utils.data.Dataset,Iterable式数据集继承torch.utils.data.IterableDataset。

本文只介绍 Map式数据集。

一个Map式的数据集必须要重写 __getitem__(self, index)、 __len__(self) 两个方法,用来表示从索引到样本的映射(Map)。 __getitem__(self, index)按索引映射到对应的数据, __len__(self)则会返回这个数据集的长度。

基本格式如下:

import torch.utils.data as data
class VOCDetection(data.Dataset):
    '''
    必须继承data.Dataset类
    '''
    def __init__(self):
        '''
        在这里进行初始化,一般是初始化文件路径或文件列表
        '''
        pass
    def __getitem__(self, index):
        '''
        1. 按照index,读取文件中对应的数据  (读取一个数据!!!!我们常读取的数据是图片,一般我们送入模型的数据成批的,但在这里只是读取一张图片,成批后面会说到)
        2. 对读取到的数据进行数据增强 (数据增强是深度学习中经常用到的,可以提高模型的泛化能力)
        3. 返回数据对 (一般我们要返回 图片,对应的标签) 在这里因为我没有写完整的代码,返回值用 0 代替
        '''
        return 0
    def __len__(self):
        '''
        返回数据集的长度
        '''
        return 0

可直接运行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模拟输入, 8个样本,每个样本长度为10
y = np.array(range(8))  # 模拟对应样本的标签, 8个标签 
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index] #可继续进行数据增强,这里没有进行数据增强操作
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
datasets = Mydataset(x, y)  # 初始化
print(datasets.__len__())  # 调用__len__() 返回数据的长度
for i in range(len(y)):
    input_data, target = datasets.__getitem__(i)  # 调用__getitem__(index) 返回读取的数据对
    print('input_data%d =' % i, input_data)
    print('target%d = ' % i, target)

结果如下:

pytorch 实现多个Dataloader同时训练

3. torch.utils.data.DataLoader

PyTorch中数据读取的一个重要接口是 torch.utils.data.DataLoader。

该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch_size封装成Tensor,后续只需要再包装成Variable即可作为模型的输入。

torch.utils.data.DataLoader(onject)的可用参数如下:

1.dataset(Dataset): 数据读取接口,该输出是torch.utils.data.Dataset类的对象(或者继承自该类的自定义类的对象)。

2.batch_size (int, optional): 批训练数据量的大小,根据具体情况设置即可。一般为2的N次方(默认:1)

3.shuffle (bool, optional):是否打乱数据,一般在训练数据中会采用。(默认:False)

4.sampler (Sampler, optional):从数据集中提取样本的策略。如果指定,“shuffle”必须为false。我没有用过,不太了解。

5.batch_sampler (Sampler, optional):和batch_size、shuffle等参数互斥,一般用默认。

6.num_workers:这个参数必须大于等于0,为0时默认使用主线程读取数据,其他大于0的数表示通过多个进程来读取数据,可以加快数据读取速度,一般设置为2的N次方,且小于batch_size(默认:0)

7.collate_fn (callable, optional): 合并样本清单以形成小批量。用来处理不同情况下的输入dataset的封装。

8.pin_memory (bool, optional):如果设置为True,那么data loader将会在返回它们之前,将tensors拷贝到CUDA中的固定内存中.

9.drop_last (bool, optional): 如果数据集大小不能被批大小整除,则设置为“true”以除去最后一个未完成的批。如果“false”那么最后一批将更小。(默认:false)

10.timeout(numeric, optional):设置数据读取时间限制,超过这个时间还没读取到数据的话就会报错。(默认:0)

11.worker_init_fn (callable, optional): 每个worker初始化函数(默认:None)

可直接运行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模拟输入, 8个样本,每个样本长度为10
y = np.array(range(8))  # 模拟对应样本的标签, 8个标签
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index]
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
if __name__ ==('__main__'):
    datasets = Mydataset(x, y)  # 初始化
    dataloader = data.DataLoader(datasets, batch_size=4, num_workers=2) 
    for i, (input_data, target) in enumerate(dataloader):
        print('input_data%d' % i, input_data)
        print('target%d' % i, target)

结果如下:(注意看类别,DataLoader把数据封装为Tensor)

pytorch 实现多个Dataloader同时训练

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中pygame模块用法实例
Oct 09 Python
举例讲解Python中的算数运算符的用法
May 13 Python
Python中的localtime()方法使用详解
May 22 Python
python的random模块及加权随机算法的python实现方法
Jan 04 Python
Django 多语言教程的实现(i18n)
Jul 07 Python
根据tensor的名字获取变量的值方式
Jan 04 Python
基于spring boot 日志(logback)报错的解决方式
Feb 20 Python
PyCharm取消波浪线、下划线和中划线的实现
Mar 03 Python
使用python操作lmdb对数据读取的实例
Dec 11 Python
python实现KNN近邻算法
Dec 30 Python
新手必备Python开发环境搭建教程
May 28 Python
分享3个非常实用的 Python 模块
Mar 03 Python
python 如何做一个识别率百分百的OCR
基于PyTorch实现一个简单的CNN图像分类器
May 29 #Python
python 爬取华为应用市场评论
python 开心网和豆瓣日记爬取的小爬虫
May 29 #Python
Python趣味挑战之实现简易版音乐播放器
新手必备Python开发环境搭建教程
Keras多线程机制与flask多线程冲突的解决方案
May 28 #Python
You might like
世界第一个无线广播电台 KDKA
2021/03/01 无线电
php模块memcache和memcached区别分析
2011/06/14 PHP
php实现过滤UBB代码的类
2015/03/12 PHP
浅谈PHP实现大流量下抢购方案
2017/12/15 PHP
一些常用的JS功能函数(2009-06-04更新)
2009/06/04 Javascript
jQuery Clone Bug解决代码
2010/12/22 Javascript
基于jQuery的图片左右无缝滚动插件
2012/05/23 Javascript
jQuery拖动元素并对元素进行重新排序
2015/12/30 Javascript
JavaScript实现解析INI文件内容的方法
2016/11/17 Javascript
Javascript中将变量转换为字符串的三种方法
2017/09/19 Javascript
基于Angularjs-router动态改变Title值的问题
2018/08/30 Javascript
深入学习JavaScript 高阶函数
2019/06/11 Javascript
[02:26]2018DOTA2亚洲邀请赛赛前采访-Newbee篇
2018/04/03 DOTA
[26:50]2018完美盛典DOTA2表演赛
2018/12/17 DOTA
python局域网ip扫描示例分享
2014/04/03 Python
Python使用sftp实现上传和下载功能(实例代码)
2017/03/14 Python
Django卸载之后重新安装的方法
2017/03/15 Python
python3+pyqt5+itchat微信定时发送消息的方法
2019/02/20 Python
Python基于Opencv来快速实现人脸识别过程详解(完整版)
2019/07/11 Python
twilio python自动拨打电话,播放自定义mp3音频的方法
2019/08/08 Python
python打开音乐文件的实例方法
2020/07/21 Python
Python基于unittest实现测试用例执行
2020/11/25 Python
CSS3的resize属性使用初探
2015/09/27 HTML / CSS
html5 Canvas画图教程(4)—未闭合的路径及渐变色的填充方法
2013/01/09 HTML / CSS
Cinque网上商店:德国服装品牌
2019/03/17 全球购物
英语自荐信常用语句
2013/12/13 职场文书
车辆安全检查制度
2014/01/12 职场文书
六年级数学教学反思
2014/02/03 职场文书
服务员岗位责任制
2014/02/11 职场文书
世界气象日活动总结
2015/02/27 职场文书
归途列车观后感
2015/06/17 职场文书
2016大学优秀学生干部事迹材料
2016/03/01 职场文书
2016年庆祝六一儿童节活动总结
2016/04/06 职场文书
django上传文件的三种方式
2021/04/29 Python
如何用 Python 子进程关闭 Excel 自动化中的弹窗
2021/05/07 Python
解决Pytorch半精度浮点型网络训练的问题
2021/05/24 Python