python分块读取大数据,避免内存不足的方法


Posted in Python onDecember 10, 2018

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的条件语句与运算符优先级详解
Oct 13 Python
Python检测网站链接是否已存在
Apr 07 Python
分享一个可以生成各种进制格式IP的小工具实例代码
Jul 28 Python
Python多重继承的方法解析执行顺序实例分析
May 26 Python
python使用tcp实现局域网内文件传输
Mar 20 Python
对python创建及引用动态变量名的示例讲解
Nov 10 Python
Python编程深度学习计算库之numpy
Dec 28 Python
python 读取数据库并绘图的实例
Dec 03 Python
翻转数列python实现,求前n项和,并能输出整个数列的案例
May 03 Python
django rest framework serializers序列化实例
May 13 Python
python实现图像外边界跟踪操作
Jul 13 Python
python 模拟登陆163邮箱
Dec 15 Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
You might like
PHP实现单例模式最安全的做法
2014/06/13 PHP
PHP使用php-resque库配合Redis实现MQ消息队列的教程
2016/06/29 PHP
php下的原生ajax请求用法实例分析
2020/02/28 PHP
深入分析PHP设计模式
2020/06/15 PHP
href下载文件根据id取url并下载
2014/05/28 Javascript
node.js中的fs.appendFile方法使用说明
2014/12/17 Javascript
jQuery实现自动输入email、时间和域名的方法
2016/08/24 Javascript
React Native中导航组件react-navigation跨tab路由处理详解
2017/10/31 Javascript
你可能不知道的前端算法之文字避让(inMap)
2018/01/12 Javascript
使用npm安装最新版本nodejs
2018/01/18 NodeJs
Angular6 正则表达式允许输入部分中文字符
2018/09/10 Javascript
vue+ElementUI 关闭对话框清空验证,清除form表单的操作
2020/08/06 Javascript
手把手带你搭建一个node cli的方法示例
2020/08/07 Javascript
小程序点餐界面添加购物车左右摆动动画
2020/09/23 Javascript
Vue.js桌面端自定义滚动条组件之美化滚动条VScroll
2020/12/01 Vue.js
从源码解析Python的Flask框架中request对象的用法
2016/06/02 Python
Python根据文件名批量转移图片的方法
2018/10/21 Python
python如何将多个PDF进行合并
2019/08/13 Python
Python closure闭包解释及其注意点详解
2019/08/28 Python
Python批量将图片灰度化的实现代码
2020/04/11 Python
python 解决mysql where in 对列表(list,,array)问题
2020/06/06 Python
PREMIUM-MALL法国:行李、箱包及配件在线
2019/05/30 全球购物
SQL Server面试题
2013/04/04 面试题
毕业自我鉴定范文
2013/11/06 职场文书
判缓刑人员个人思想汇报
2014/10/10 职场文书
办理护照工作证明
2014/10/10 职场文书
领导个人查摆剖析材料
2014/10/29 职场文书
专家推荐信怎么写
2015/03/25 职场文书
幼儿园重阳节活动总结
2015/05/05 职场文书
傲慢与偏见读书笔记
2015/06/29 职场文书
男方家长婚礼致辞
2015/07/27 职场文书
中国梦宣传标语口号
2015/12/26 职场文书
建立共青团委员会的请示
2019/04/02 职场文书
导游词之西安骊山
2019/12/03 职场文书
Python包管理工具pip的15 个使用小技巧
2021/05/17 Python
redis不能访问本机真实ip地址的解决方案
2021/07/07 Redis