Python如何处理大数据?3个技巧效率提升攻略(推荐)


Posted in Python onApril 15, 2019

如果你有个5、6 G 大小的文件,想把文件内容读出来做一些处理然后存到另外的文件去,你会使用什么进行处理呢?不用在线等,给几个错误示范:有人用multiprocessing 处理,但是效率非常低。于是,有人用python处理大文件还是会存在效率上的问题。因为效率只是和预期的时间有关,不会报错,报错代表程序本身出现问题了~

所以,为什么用python处理大文件总有效率问题?

如果工作需要,立刻处理一个大文件,你需要注意两点:

01、大型文件的读取效率

面对100w行的大型数据,经过测试各种文件读取方式,得出结论:

with open(filename,"rb") as f:
 for fLine in f:
 pass

方式最快,100w行全遍历2.7秒。

基本满足中大型文件处理效率需求。如果rb改为r,慢6倍。但是此方式处理文件,fLine为bytes类型。但是python自行断行,仍旧能很好的以行为单位处理读取内容。

02、文本处理效率问题

这里举例ascii定长文件,因为这个也并不是分隔符文件,所以打算采用列表操作实现数据分割。但是问题是处理20w条数据,时间急剧上升到12s。本以为是byte.decode增加了时间。遂去除decode全程bytes处理。但是发现效率还是很差。

最后用最简单方式测试,首次运行,最简单方式也要7.5秒100w次。

想知道这个方式处理的完整代码是什么吗?扫描文末二维码,联系小编可以获取哦~

那么关于python处理大文件的技巧,从网络整理三点:列表、文件属性、字典三个点来看看。

1.列表处理

def fun(x):尽量选择集合、字典数据类型,千万不要选择列表,列表的查询速度会超级慢,同样的,在已经使用集合或字典的情况下,不要再转化成列表进行操作,比如:

values_count = 0
# 不要用这种的
if values in dict.values():
 values_count += 1
# 尽量用这种的
if keys,values in dict:
 values_count += 1

后者的速度会比前者快好多好多。

2. 对于文件属性

如果遇到某个文件,其中有属性相同的,但又不能进行去重操作,没有办法使用集合或字典时,可以增加属性,比如将原数据重新映射出一列计数属性,让每一条属性具有唯一性,从而可以用字典或集合处理:

return '(' + str(x) + ', 1)'
list(map(fun,[1,2,3]))

使用map函数将多个相同属性增加不同项。

3. 对于字典

多使用iteritems()少使用items(),iteritems()返回迭代器:

>>> d = {'a':1,'b':2}
>>> for i in d.items() :
.... print i
('a',1)
('b',2)
>>> for k,v in d.iteritems() :
... print k,v
('a',1)
('b',2)

字典的items函数返回的是键值对的元组的列表,而iteritems使用的是键值对的generator,items当使用时会调用整个列表 iteritems当使用时只会调用值。

除了以下5个python使用模块,你还有什么技巧解决大文件运行效率的问题吗?深入了解更多Python实用模块,快速提升工作效率~

读写文件技术,今后会用到测试数据的参数化和测试报告写作功能中~

数据处理技术,今后测试脚本的测试数据处理过程可以用到~

数据统计分析技术,今后会在测试结果分析中用到

图表展示技术,在今后的测试框架中相关测试报告会用到

程序自动触发技术,可用于测试脚本程序的自动执行。

以上所述是小编给大家介绍的Python如何处理大数据?3个技巧效率提升攻略详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python使用SocketServer模块编写基本服务器程序的教程
Jul 12 Python
python flask实现分页效果
Jun 27 Python
浅谈Python中的zip()与*zip()函数详解
Feb 24 Python
python3实现字符串操作的实例代码
Apr 16 Python
numpy ndarray 取出满足特定条件的某些行实例
Dec 05 Python
python3 常见解密加密算法实例分析【base64、MD5等】
Dec 19 Python
PyCharm使用之配置SSH Interpreter的方法步骤
Dec 26 Python
解决Tensorflow sess.run导致的内存溢出问题
Feb 05 Python
解决Tensorboard可视化错误:不显示数据 No scalar data was found
Feb 15 Python
python Shapely使用指南详解
Feb 18 Python
基于Python快速处理PDF表格数据
Jun 03 Python
利用python做数据拟合详情
Nov 17 Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 #Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 #Python
10招!看骨灰级Pythoner玩转Python的方法
Apr 15 #Python
Python后台开发Django会话控制的实现
Apr 15 #Python
浅析Python 实现一个自动化翻译和替换的工具
Apr 14 #Python
提升Python程序性能的7个习惯
Apr 14 #Python
Python根据当前日期取去年同星期日期
Apr 14 #Python
You might like
thinkphp循环结构用法实例
2014/11/24 PHP
JavaScript 拾漏补遗
2009/12/27 Javascript
js操作二级联动实现代码
2010/07/27 Javascript
JavaScript学习历程和心得小结
2010/08/16 Javascript
Jquery拖拽并简单保存的实现代码
2010/11/28 Javascript
jQuery EasyUI API 中文文档 可调整尺寸
2011/09/29 Javascript
Javascript面向对象扩展库代码分享
2012/03/27 Javascript
jquery显示和隐藏div特效实例
2013/02/27 Javascript
按钮接受回车事件的三种实现方法
2014/06/06 Javascript
javascript几个易错点记录
2014/11/26 Javascript
NodeJS中利用Promise来封装异步函数
2015/02/25 NodeJs
使用AmplifyJS组件配合JavaScript进行编程的指南
2015/07/28 Javascript
Javascript 6里的4个新语法
2016/08/25 Javascript
Web前端框架bootstrap实战【第一次接触使用】
2016/12/28 Javascript
js实现常见的工具条效果
2017/03/02 Javascript
JavaScript mixin实现多继承的方法详解
2017/03/30 Javascript
VueJs 搭建Axios接口请求工具
2017/11/20 Javascript
重新认识vue之事件阻止冒泡的实现
2018/08/02 Javascript
express如何解决ajax跨域访问session失效问题详解
2019/06/20 Javascript
详解vue父子组件状态同步的最佳方式
2020/09/10 Javascript
pyside写ui界面入门示例
2014/01/22 Python
python 使用sys.stdin和fileinput读入标准输入的方法
2018/10/17 Python
使用python根据端口号关闭进程的方法
2018/11/06 Python
Python操作redis实例小结【String、Hash、List、Set等】
2019/05/16 Python
pytorch自定义二值化网络层方式
2020/01/07 Python
python PIL/cv2/base64相互转换实例
2020/01/09 Python
css3实现文字首尾衔接跑马灯的示例代码
2020/10/16 HTML / CSS
KIKO MILANO英国官网:意大利知名化妆品和护肤品品牌
2017/09/25 全球购物
从当地商店送来的杂货:Instacart
2018/08/19 全球购物
大学生个人自荐信样本
2014/03/02 职场文书
《天安门广场》教学反思
2014/04/23 职场文书
2014年教师党员公开承诺书
2014/05/28 职场文书
高中校园广播稿
2014/10/21 职场文书
先进事迹材料怎么写
2014/12/30 职场文书
飞越疯人院观后感
2015/06/09 职场文书
浅谈Python数学建模之线性规划
2021/06/23 Python