Python图像读写方法对比


Posted in Python onNovember 16, 2020

1  实验标准

因为训练使用的框架是Pytorch,因此读取的实验标准如下:

1、读取分辨率都为1920x1080的5张图片(png格式一张,jpg格式四张)并保存到数组。

2、将读取的数组转换为维度顺序为CxHxW的Pytorch张量,并保存到显存中(我使用GPU训练),其中三个通道的顺序为RGB。

3、记录各个方法在以上操作中所耗费的时间。因为png格式的图片大小差不多是质量有微小差异的jpg格式的10倍,所以数据集通常不会用png来保存,就不比较这两种格式的读取时间差异了。

写入的实验标准如下:

1、将5张1920x1080的5张图像对应的Pytorch张量转换为对应方法可使用的数据类型数组。

2、以jpg格式保存五张图片。

3、记录各个方法保存图片所耗费的时间。

2  实验情况

2.1  cv2

因为有GPU,所以cv2读取图片有两种方式:

1、先把图片都读取为一个numpy数组,再转换成保存在GPU中的pytorch张量。

2、初始化一个保存在GPU中的pytorch张量,然后将每张图直接复制进这个张量中。

第一种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# cv2读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = cv.imread(filename=os.path.join(read_path, img))
 imgs[i] = img 
imgs = torch.tensor(imgs).to('cuda')[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间1:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

 实验结果:

cv2 读取时间1: 0.39693760871887207
cv2 保存时间: 0.3560612201690674

第二种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
 
# cv2读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(cv.imread(filename=os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间2:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

实验结果:

cv2 读取时间2: 0.23636841773986816
cv2 保存时间: 0.3066873550415039

2.2  matplotlib

同样两种读取方式,第一种代码如下:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = plt.imread(os.path.join(read_path, img)) 
 imgs[i] = img  
imgs = torch.tensor(imgs).to('cuda').permute([0,3,1,2])/255 
print('matplotlib 读取时间1:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间1: 0.45380306243896484
matplotlib 保存时间: 0.768944263458252

第二种方式实验代码:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.2044532299041748
matplotlib 保存时间: 0.4737534523010254

需要注意的是,matplotlib读取png格式图片获取的数组的数值是在[0,1][0,1]范围内的浮点数,而jpg格式图片却是在[0,255][0,255]范围内的整数。所以如果数据集内图片格式不一致,要注意先转换为一致再读取,否则数据集的预处理就麻烦了。

2.3  PIL

PIL的读取与写入并不能直接使用pytorch张量或numpy数组,要先转换为Image类型,所以很麻烦,时间复杂度上肯定也是占下风的,就不实验了。

2.4  torchvision

torchvision提供了直接从pytorch张量保存图片的功能,和上面读取最快的matplotlib的方法结合,代码如下:

import os, torch 
import matplotlib.pyplot as plt 
from time import time 
from torchvision import utils 

read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# torchvision 保存
start_t = time() 
for i in range(imgs.shape[0]):  
 utils.save_image(imgs[i], write_path + str(i) + '.jpg')
print('torchvision 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.15358829498291016
torchvision 保存时间: 0.14760661125183105

可以看出这两个是最快的读写方法。另外,要让图片的读写尽量不影响训练进程,我们还可以让这两个过程与训练并行。另外,utils.save_image可以将多张图片拼接成一张来保存,具体使用方法如下:

utils.save_image(tensor = imgs,   # 要保存的多张图片张量 shape = [n, C, H, W]
         fp = 'test.jpg',  # 保存路径
         nrow = 5,     # 多图拼接时,每行所占的图片数
         padding = 1,    # 多图拼接时,每张图之间的间距
         normalize = True, # 是否进行规范化,通常输出图像用tanh,所以要用规范化 
         range = (-1,1))  # 规范化的范围

以上就是Python图像读写方法对比的详细内容,更多关于python 图像读写的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
深入理解python函数递归和生成器
Jun 06 Python
利用python对Excel中的特定数据提取并写入新表的方法
Jun 14 Python
python Flask 装饰器顺序问题解决
Aug 08 Python
Python3.5 Pandas模块之Series用法实例分析
Apr 23 Python
python实现连连看辅助之图像识别延伸
Jul 17 Python
python判断无向图环是否存在的示例
Nov 22 Python
浅谈numpy中函数resize与reshape,ravel与flatten的区别
Jun 18 Python
django创建css文件夹的具体方法
Jul 31 Python
python 常见的反爬虫策略
Sep 27 Python
浅谈盘点5种基于Python生成的个性化语音方法
Feb 05 Python
python第三方网页解析器 lxml 扩展库与 xpath 的使用方法
Apr 06 Python
python全面解析接口返回数据
Feb 12 Python
python3中编码获取网页的实例方法
Nov 16 #Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
You might like
用PHP编写PDF文档生成器
2006/10/09 PHP
PHP extract 将数组拆分成多个变量的函数
2010/06/30 PHP
关于php 接口问题(php接口主要也就是运用curl,curl函数)
2013/07/01 PHP
php下载excel无法打开的解决方法
2013/12/24 PHP
PHP里8个鲜为人知的安全函数分析
2014/12/09 PHP
php实现四舍五入的方法小结
2015/03/03 PHP
部署PHP时的4个配置修改说明
2015/10/19 PHP
PHP中addcslashes与stripcslashes函数用法分析
2016/01/07 PHP
老生常谈PHP面向对象之命令模式(必看篇)
2017/05/24 PHP
JavaScript对象链式操作代码(jquery)
2010/07/04 Javascript
增强用户体验友好性之jquery easyui window 窗口关闭时的提示
2012/06/22 Javascript
无缝滚动改进版支持上下左右滚动(封装成函数)
2012/12/04 Javascript
jQuery中height()方法用法实例
2014/12/24 Javascript
JS实现图片高亮展示效果实例
2015/11/24 Javascript
javascript实现简单计算器效果【推荐】
2016/04/19 Javascript
jQuery EasyUI Tab 选项卡问题小结
2016/08/16 Javascript
Angularjs中三种数据的绑定策略(“@”,“=”,“&”)
2016/12/23 Javascript
Bootstrap一款超好用的前端框架
2017/09/25 Javascript
vue中手机号,邮箱正则验证以及60s发送验证码的实例
2018/03/16 Javascript
js控制随机数生成概率代码实例
2019/03/21 Javascript
Vue动态加载图片在跨域时无法显示的问题及解决方法
2020/03/10 Javascript
详解python 发送邮件实例代码
2016/12/22 Python
Python使用filetype精确判断文件类型
2017/07/02 Python
python处理数据,存进hive表的方法
2018/07/04 Python
Python openpyxl 遍历所有sheet 查找特定字符串的方法
2018/12/10 Python
python3爬虫获取html内容及各属性值的方法
2018/12/17 Python
python 多线程对post请求服务器测试并发的方法
2019/06/13 Python
python超时重新请求解决方案
2019/10/21 Python
mac使用python识别图形验证码功能
2020/01/10 Python
基于Django集成CAS实现流程详解
2020/11/28 Python
香港现代设计家具品牌:Ziinlife Furniture
2018/11/13 全球购物
长曲棍球装备:Lacrosse Monkey
2020/12/02 全球购物
生产车间主任的个人自我鉴定
2013/10/25 职场文书
中医专业职业生涯规划书范文
2014/01/04 职场文书
《去年的树》教学反思
2014/04/11 职场文书
团队拓展活动方案
2014/08/28 职场文书