简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中将阿拉伯数字转换成中文的实现代码
May 19 Python
Python的时间模块datetime详解
Apr 17 Python
Windows下的Jupyter Notebook 安装与自定义启动(图文详解)
Feb 21 Python
python中的二维列表实例详解
Jun 19 Python
Python3.5面向对象与继承图文实例详解
Apr 24 Python
图文详解python安装Scrapy框架步骤
May 20 Python
在python下使用tensorflow判断是否存在文件夹的实例
Jun 10 Python
PyCharm-错误-找不到指定文件python.exe的解决方法
Jul 01 Python
树莓派安装OpenCV3完整过程的实现
Oct 10 Python
Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError
Dec 20 Python
Python StringIO如何在内存中读写str
Jan 07 Python
python中最小二乘法详细讲解
Feb 19 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
在线竞拍系统的PHP实现框架(一)
2006/10/09 PHP
模仿OSO的论坛(四)
2006/10/09 PHP
php查看session内容的函数
2008/08/27 PHP
一个PHP的远程图片抓取函数分享
2013/09/25 PHP
Laravel 5.5 的自定义验证对象/类示例代码详解
2017/08/29 PHP
记录Yii2框架开发微信公众号遇到的问题及解决方法
2018/07/20 PHP
PHP实现文件上传操作和封装
2020/03/04 PHP
js给onclick赋值传参数的两种方法
2013/11/25 Javascript
javascript:window.open弹出窗口的位置问题
2014/03/18 Javascript
jquery高级编程的最佳实践详解
2014/03/23 Javascript
jquery实现人性化的有选择性禁用鼠标右键
2014/06/30 Javascript
js获取元素相对窗口位置的实现代码
2014/09/28 Javascript
基于jquery实现等比缩放图片
2014/12/03 Javascript
javascript函数式编程实例分析
2015/04/25 Javascript
javascript图片滑动效果实现
2021/01/28 Javascript
JavaScript禁止用户多次提交的两种方法
2016/07/24 Javascript
JavaScript制作颜色反转小游戏
2016/09/25 Javascript
JS实现用户注册时获取短信验证码和倒计时功能
2016/10/27 Javascript
微信小程序下拉菜单效果的实例代码
2019/05/14 Javascript
node.js 使用 net 模块模拟 websocket 握手进行数据传递操作示例
2020/02/11 Javascript
js实现简单选项卡制作
2020/08/05 Javascript
Python基于time模块求程序运行时间的方法
2017/09/18 Python
Python使用min、max函数查找二维数据矩阵中最小、最大值的方法
2018/05/15 Python
Python3爬虫爬取百姓网列表并保存为json功能示例【基于request、lxml和json模块】
2018/12/05 Python
Django模型序列化返回自然主键值示例代码
2019/06/12 Python
Python3并发写文件与Python对比
2019/11/20 Python
python实现图片上添加图片
2019/11/26 Python
Python字符串格式化f-string多种功能实现
2020/05/07 Python
Python小白学习爬虫常用请求报头
2020/06/03 Python
如何编写python的daemon程序
2021/01/07 Python
python实现马丁策略的实例详解
2021/01/15 Python
《小石潭记》教学反思
2014/02/13 职场文书
保护动物的标语
2014/06/11 职场文书
运动会演讲稿50字
2014/08/25 职场文书
服务明星事迹材料
2014/12/29 职场文书
2019年个人工作总结范文
2019/03/25 职场文书