python分块读取大数据,避免内存不足的方法


Posted in Python onDecember 10, 2018

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用装饰器和元编程实现结构体类实例
Jan 28 Python
python实现对一个完整url进行分割的方法
Apr 29 Python
Python编程入门的一些基本知识
May 13 Python
使用FastCGI部署Python的Django应用的教程
Jul 22 Python
django 2.0更新的10条注意事项总结
Jan 05 Python
Python 实现在文件中的每一行添加一个逗号
Apr 29 Python
详解Python 字符串相似性的几种度量方法
Aug 29 Python
python、PyTorch图像读取与numpy转换实例
Jan 13 Python
python定义类self用法实例解析
Jan 22 Python
Django 如何使用日期时间选择器规范用户的时间输入示例代码详解
May 22 Python
Python函数递归调用实现原理实例解析
Aug 11 Python
python 自动刷新网页的两种方法
Apr 20 Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
You might like
发款php蜘蛛统计插件只要有mysql就可用
2010/10/12 PHP
php调用MySQL存储过程的方法集合(推荐)
2013/07/03 PHP
CodeIgniter错误mysql_connect(): No such file or directory解决方法
2014/09/06 PHP
PHP中Closure类的使用方法及详解
2015/10/09 PHP
php 防止表单重复提交两种实现方法
2016/11/03 PHP
PHP正则之正向预查与反向预查讲解与实例
2020/04/06 PHP
php中Swoole的热更新实现代码实例
2021/03/04 PHP
javascript KeyDown、KeyPress和KeyUp事件的区别与联系
2009/12/03 Javascript
调试Javascript代码(浏览器F12及VS中debugger关键字)
2013/01/25 Javascript
javascript中this做事件参数相关问题解答
2013/03/17 Javascript
jQuery.validate 常用方法及需要注意的问题
2013/03/20 Javascript
jquery实现鼠标拖动图片效果示例代码
2014/01/09 Javascript
Node.js与PHP、Python的字符处理性能对比
2014/07/06 Javascript
Javascript基础教程之数据类型 (字符串 String)
2015/01/18 Javascript
jquery $(document).ready()和window.onload的区别浅析
2015/02/04 Javascript
js利用正则表达式检验输入内容是否为网址
2016/07/05 Javascript
jQuery实现贪吃蛇小游戏(附源码下载)
2017/03/04 Javascript
JS正则表达式完美实现身份证校验功能
2017/10/18 Javascript
解决vue组件中使用v-for出现告警问题及v for指令介绍
2017/11/11 Javascript
Node.js爬取豆瓣数据实例分析
2018/03/05 Javascript
vue.js指令v-for使用以及下标索引的获取
2019/01/31 Javascript
你不可不知的Vue.js列表渲染详解
2019/10/01 Javascript
VUE UPLOAD 通过ACTION返回上传结果操作
2020/09/07 Javascript
python检测lvs real server状态
2014/01/22 Python
Linux下为不同版本python安装第三方库
2016/08/31 Python
python实现三次样条插值
2018/12/17 Python
python sklearn库实现简单逻辑回归的实例代码
2019/07/01 Python
Python进程间通信multiprocess代码实例
2020/03/18 Python
python装饰器实现对异常代码出现进行自动监控的实现方法
2020/09/15 Python
应届生简历中的自我评价
2014/01/13 职场文书
简单的辞职信范文
2014/01/18 职场文书
心理健康教育制度
2014/01/27 职场文书
安全伴我行演讲稿
2014/09/04 职场文书
2014年镇党建工作汇报材料
2014/11/02 职场文书
2015年领班工作总结
2015/04/29 职场文书
情感电台广播稿
2015/08/18 职场文书