对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python爬取十篇新闻统计TF-IDF
Jan 03 Python
Python selenium实现微博自动登录的示例代码
May 16 Python
python bmp转换为jpg 并删除原图的方法
Oct 25 Python
python ---lambda匿名函数介绍
Mar 13 Python
python实现控制COM口的示例
Jul 03 Python
python之yield和Generator深入解析
Sep 18 Python
python将四元数变换为旋转矩阵的实例
Dec 04 Python
基于python实现FTP文件上传与下载操作(ftp&sftp协议)
Apr 01 Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 Python
详解如何在PyCharm控制台中输出彩色文字和背景
Aug 17 Python
PyCharm 安装与使用配置教程(windows,mac通用)
May 12 Python
Django集成富文本编辑器summernote的实现步骤
May 31 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
example1.php
2006/10/09 PHP
PHP制作用户注册系统
2015/10/23 PHP
php上传图片获取路径及给表单字段赋值的方法
2016/01/23 PHP
PHP微信支付结果通知与回调策略分析
2019/01/10 PHP
使用onbeforeunload属性后的副作用
2007/03/08 Javascript
Z-Blog中用到的js代码
2007/03/15 Javascript
jquery日历控件实现方法分享
2014/03/07 Javascript
有关Promises异步问题详解
2015/11/13 Javascript
【经验总结】编写JavaScript代码时应遵循的14条规律
2016/06/20 Javascript
利用React-router+Webpack快速构建react程序
2016/10/27 Javascript
EasyUI在Panel上动态添加LinkButton按钮
2017/08/11 Javascript
浅谈Webpack 持久化缓存实践
2018/03/22 Javascript
微信小程序scroll-view实现字幕滚动
2018/07/14 Javascript
vue单页面应用打开新窗口显示跳转页面的实例
2018/09/21 Javascript
基于JS开发微信网页录音功能的实例代码
2019/04/30 Javascript
pygame播放音乐的方法
2015/05/19 Python
python制作花瓣网美女图片爬虫
2015/10/28 Python
常用python编程模板汇总
2016/02/12 Python
Python日志:自定义输出字段 json格式输出方式
2020/04/27 Python
python dict乱码如何解决
2020/06/07 Python
python实现学生成绩测评系统
2020/06/22 Python
Python如何进行时间处理
2020/08/06 Python
python 星号(*)的多种用途
2020/09/21 Python
Flask中jinja2的继承实现方法及实例
2021/03/03 Python
Oracle中delete,truncate和drop的区别
2016/05/05 面试题
线程同步的方法
2016/11/23 面试题
美容院合作经营协议书
2014/10/10 职场文书
师德标兵事迹材料
2014/12/19 职场文书
评先进个人材料
2014/12/29 职场文书
合作合同协议书范本
2015/01/27 职场文书
质量整改通知单
2015/04/21 职场文书
刑事法律意见书
2015/06/04 职场文书
小学生作文写作技巧100例,非常实用!
2019/07/08 职场文书
详解Nginx 工作原理
2021/03/31 Servers
原生JS实现飞机大战小游戏
2021/06/09 Javascript
在NumPy中深拷贝和浅拷贝相关操作的定义和背后的原理
2022/04/14 Python