pandas string转dataframe的方法


Posted in Python onApril 11, 2018

今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。

所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。

其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。

import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")

以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python模块restful使用方法实例
Dec 10 Python
Python更新数据库脚本两种方法及对比介绍
Jul 27 Python
利用Python批量压缩png方法实例(支持过滤个别文件与文件夹)
Jul 30 Python
Python实现按特定格式对文件进行读写的方法示例
Nov 30 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 Python
使用Numpy读取CSV文件,并进行行列删除的操作方法
Jul 04 Python
python最小生成树kruskal与prim算法详解
Jan 17 Python
Python3 中sorted() 函数的用法
Mar 24 Python
python3.7调试的实例方法
Jul 21 Python
python爬虫要用到的库总结
Jul 28 Python
15个Pythonic的代码示例(值得收藏)
Oct 29 Python
Django怎么在admin后台注册数据库表
Nov 14 Python
Python实现统计给定列表中指定数字出现次数的方法
Apr 11 #Python
DataFrame中的object转换成float的方法
Apr 10 #Python
pandas object格式转float64格式的方法
Apr 10 #Python
python 处理dataframe中的时间字段方法
Apr 10 #Python
python调用API实现智能回复机器人
Apr 10 #Python
python读取文本中数据并转化为DataFrame的实例
Apr 10 #Python
python实现百度语音识别api
Apr 10 #Python
You might like
ThinkPHP CURD方法之where方法详解
2014/06/18 PHP
PHP中SimpleXML函数用法分析
2014/11/26 PHP
PHP的serialize序列化数据以及JSON格式化数据分析
2015/10/10 PHP
PHP递归实现汉诺塔问题的方法示例
2017/11/25 PHP
实例讲解PHP中使用命名空间
2019/01/27 PHP
PHP中的Iterator迭代对象属性详解
2019/04/12 PHP
laravel 解决路由除了根目录其他都404的问题
2019/10/18 PHP
jQuery的运行机制和设计理念分析
2011/04/05 Javascript
javascript实现分栏显示小技巧附图
2014/10/13 Javascript
Jquery动态替换div内容及动态展示的方法
2015/01/23 Javascript
基于jQuery实现的菜单切换效果
2015/10/16 Javascript
AngularJS中实现显示或隐藏动画效果的方式总结
2015/12/31 Javascript
JavaScript代码性能优化总结篇
2016/05/15 Javascript
每日十条JavaScript经验技巧(二)
2016/06/23 Javascript
实例讲解JavaScript中call、apply、bind方法的异同
2016/09/13 Javascript
vue.js 使用axios实现下载功能的示例
2018/03/05 Javascript
JavaScript日期工具类DateUtils定义与用法示例
2018/09/03 Javascript
jQuery实现动态添加和删除input框代码实例
2019/03/29 jQuery
小程序实现背景音乐播放和暂停
2020/06/19 Javascript
微信小程序动态评分展示/五角星展示/半颗星展示/自定义长度展示功能的实现
2020/07/22 Javascript
对python过滤器和lambda函数的用法详解
2019/01/21 Python
python 将列表里的字典元素合并为一个字典实例
2020/09/01 Python
python操作ini类型配置文件的实例教程
2020/10/30 Python
今天学到的CSS最新技术(与图片背景相关)
2012/12/24 HTML / CSS
从零实现一个自定义html5播放器的示例代码
2017/08/01 HTML / CSS
英国足球店:UK Soccer Shop
2017/11/19 全球购物
Java语言程序设计测试题改错题部分
2014/07/22 面试题
俄语翻译实习生的自我评价分享
2013/11/06 职场文书
优秀管理者事迹材料
2014/05/22 职场文书
年检委托书
2014/08/30 职场文书
2014企业领导班子四风对照检查材料思想汇报
2014/09/17 职场文书
简易版租房协议书范本
2014/10/13 职场文书
2015年超市收银员工作总结
2015/04/25 职场文书
小区物业管理2015年度工作总结
2015/10/22 职场文书
python 如何用terminal输入参数
2021/05/25 Python
怎么用Python识别手势数字
2021/06/07 Python