简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中转换角度为弧度的radians()方法
May 18 Python
python中list常用操作实例详解
Jun 03 Python
python中Apriori算法实现讲解
Dec 10 Python
pip install urllib2不能安装的解决方法
Jun 12 Python
Django开发中的日志输出的方法
Jul 02 Python
python 生成图形验证码的方法示例
Nov 11 Python
对Python 多线程统计所有csv文件的行数方法详解
Feb 12 Python
Python适配器模式代码实现解析
Aug 02 Python
ORM Django 终端打印 SQL 语句实现解析
Aug 09 Python
利用anaconda作为python的依赖库管理方法
Aug 13 Python
设置jupyter中DataFrame的显示限制方式
Apr 12 Python
Python3之乱码\xe6\x97\xa0\xe6\xb3\x95处理方式
May 11 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
图形数字验证代码
2006/10/09 PHP
初学CAKEPHP 基础教程
2009/11/02 PHP
Yii+upload实现AJAX上传图片的方法
2016/07/13 PHP
Yii实现Command任务处理的方法详解
2016/07/14 PHP
autoPlay 基于jquery的图片自动播放效果
2011/12/07 Javascript
javascript动态加载二
2012/08/22 Javascript
把jquery 的dialog和ztree结合实现步骤
2013/08/02 Javascript
跨域资源共享 CORS 详解
2016/04/26 Javascript
Bootstrap富文本组件wysiwyg数据保存到mysql的方法
2016/05/09 Javascript
javascript解决小数的加减乘除精度丢失的方案
2016/05/31 Javascript
全面解析标签页的切换方式
2016/08/21 Javascript
JS Select下拉框(支持输入模糊查询)
2017/02/04 Javascript
JS实现简易刻度时钟示例代码
2017/03/11 Javascript
使用angular帮你实现拖拽的示例
2017/07/05 Javascript
Express之托管静态文件的方法
2018/06/01 Javascript
原生JS实现前端本地文件上传
2018/09/08 Javascript
es6中比较有用的7个技巧小结
2019/07/12 Javascript
es6函数之严格模式用法实例分析
2020/03/17 Javascript
python基于socket实现网络广播的方法
2015/04/29 Python
Python中使用Queue和Condition进行线程同步的方法
2016/01/19 Python
Python设计模式之职责链模式原理与用法实例分析
2019/01/11 Python
Python:合并两个numpy矩阵的实现
2019/12/02 Python
python使用html2text库实现从HTML转markdown的方法详解
2020/02/21 Python
python函数map()和partial()的知识点总结
2020/05/26 Python
Pycharm制作搞怪弹窗的实现代码
2021/02/19 Python
新加坡航空官方网站:Singapore Airlines
2016/10/13 全球购物
在线课程:Skillshare
2019/04/02 全球购物
双立人美国官方商店:ZWILLING集团餐具和炊具
2020/05/07 全球购物
高一地理教学反思
2014/01/18 职场文书
会计电算化学生个人的自我评价
2014/02/08 职场文书
俞敏洪一分钟演讲稿
2014/08/26 职场文书
竞聘报告优秀范文
2014/11/06 职场文书
新教师个人总结
2015/02/06 职场文书
国际贸易实训总结
2015/08/03 职场文书
2019年圣诞节祝福语集锦
2019/12/25 职场文书
Html5通过数据流方式播放视频的实现
2021/04/27 HTML / CSS