pandas string转dataframe的方法


Posted in Python onApril 11, 2018

今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。

所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。

其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。

import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")

以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中range()与xrange()用法分析
Sep 21 Python
50行Python代码实现人脸检测功能
Jan 23 Python
如何在Django中添加没有微秒的 DateTimeField 属性详解
Jan 30 Python
使用Python做定时任务及时了解互联网动态
May 15 Python
如何实现Django Rest framework版本控制
Jul 25 Python
python通过txt文件批量安装依赖包的实现步骤
Aug 13 Python
django中间键重定向实例方法
Nov 10 Python
Python基于Dlib的人脸识别系统的实现
Feb 26 Python
Python Flask上下文管理机制实例解析
Mar 16 Python
Python TestSuite生成测试报告过程解析
Jul 23 Python
详解pandas apply 并行处理的几种方法
Feb 24 Python
浅析Python实现DFA算法
Jun 26 Python
Python实现统计给定列表中指定数字出现次数的方法
Apr 11 #Python
DataFrame中的object转换成float的方法
Apr 10 #Python
pandas object格式转float64格式的方法
Apr 10 #Python
python 处理dataframe中的时间字段方法
Apr 10 #Python
python调用API实现智能回复机器人
Apr 10 #Python
python读取文本中数据并转化为DataFrame的实例
Apr 10 #Python
python实现百度语音识别api
Apr 10 #Python
You might like
用windows下编译过的eAccelerator for PHP 5.1.6实现php加速的使用方法
2007/09/30 PHP
PHP 处理图片的类实现代码
2009/10/23 PHP
smarty模板引擎从php中获取数据的方法
2015/01/22 PHP
PHP网站建设的流程与步骤分享
2015/09/25 PHP
php命令行(cli)模式下报require 加载路径错误的解决方法
2015/11/23 PHP
在WordPress的后台中添加顶级菜单和子菜单的函数详解
2016/01/11 PHP
PHP children()函数讲解
2019/02/03 PHP
用jscript实现新建和保存一个word文档
2007/06/15 Javascript
表单提交前触发函数返回true表单才会提交
2014/03/11 Javascript
IE8下Jquery获取select选中的值post到后台报错问题
2014/07/02 Javascript
jQuery处理图片加载失败的常用方法
2015/06/08 Javascript
Javascript中的方法和匿名方法实例详解
2015/06/13 Javascript
JavaScript SHA512&amp;SHA256加密算法详解
2015/08/11 Javascript
微信小程序开发实战教程之手势解锁
2016/11/18 Javascript
Node.js用readline模块实现输入输出
2016/12/16 Javascript
JS返回只包含数字类型的数组实例分析
2016/12/16 Javascript
使用jQuery实现简单的tab框实例
2017/08/22 jQuery
layui添加动态菜单与选项卡
2019/07/26 Javascript
vue实现输入框的模糊查询的示例代码(节流函数的应用场景)
2019/09/01 Javascript
详解如何在Vue项目中发送jsonp请求
2019/10/25 Javascript
[01:59]深扒TI7聊天轮盘语音出处 1
2017/05/11 DOTA
[05:53]敌法师的金色冠名ID"BurNIng",是传说,是荣耀
2020/07/11 DOTA
Python使用微信接入图灵机器人过程解析
2019/11/04 Python
通过 Django Pagination 实现简单分页功能
2019/11/11 Python
tensorflow指定GPU与动态分配GPU memory设置
2020/02/03 Python
python 如何快速复制序列
2020/09/07 Python
编译 pycaffe时报错:fatal error: numpy/arrayobject.h没有那个文件或目录
2020/11/29 Python
亚洲最大旅游体验平台:KKday
2017/10/21 全球购物
法国一家多品牌成衣精品中/高档商店:Graduate Store
2019/08/28 全球购物
大学校庆邀请函
2014/01/11 职场文书
大学生蛋糕店创业计划书
2014/01/13 职场文书
最新离婚协议书范本
2014/08/19 职场文书
我的长征观后感
2015/06/09 职场文书
公司要求试用期员工提交“述职报告”,该怎么写?
2019/07/17 职场文书
Pytest之测试命名规则的使用
2021/04/16 Python
Python TypeError: ‘float‘ object is not subscriptable错误解决
2022/12/24 Python