对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中函数参数设置及使用的学习笔记
May 03 Python
PyQt5利用QPainter绘制各种图形的实例
Oct 19 Python
python3+mysql查询数据并通过邮件群发excel附件
Feb 24 Python
Python文本处理之按行处理大文件的方法
Apr 09 Python
Python基于mysql实现学生管理系统
Feb 21 Python
浅谈python新式类和旧式类区别
Apr 26 Python
浅谈pycharm使用及设置方法
Sep 09 Python
Python3.7安装keras和TensorFlow的教程图解
Jun 18 Python
Python通过递归获取目录下指定文件代码实例
Nov 07 Python
基于python cut和qcut的用法及区别详解
Nov 22 Python
Python 生成VOC格式的标签实例
Mar 10 Python
序列化Python对象的方法
Aug 01 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
解析php中获取系统信息的方法
2013/06/25 PHP
PHP连接MySQL的2种方法小结以及防止乱码
2014/03/11 PHP
深入理解javascript构造函数和原型对象
2014/09/23 Javascript
javascritp添加url参数将参数加入到url中
2014/09/25 Javascript
Javascript中封装window.open解决不兼容问题
2014/09/28 Javascript
浅析创建javascript对象的方法
2016/05/13 Javascript
Angularjs结合Bootstrap制作的一个TODO List
2016/08/18 Javascript
JavaScript 事件流、事件处理程序及事件对象总结
2017/04/01 Javascript
angularjs实现过滤并替换关键字小功能
2017/09/19 Javascript
微信小程序下拉刷新界面的实现
2017/09/28 Javascript
react同构实践之实现自己的同构模板
2019/03/13 Javascript
小程序scroll-view安卓机隐藏横向滚动条的实现详解
2019/05/16 Javascript
在vue项目实现一个ctrl+f的搜索功能
2020/02/28 Javascript
extjs图表绘制之条形图实现方法分析
2020/03/06 Javascript
vue实现两个组件之间数据共享和修改操作
2020/11/12 Javascript
Python3.x对JSON的一些操作示例
2017/09/01 Python
Python检测网络延迟的代码
2018/05/15 Python
Python3.5 处理文本txt,删除不需要的行方法
2018/12/10 Python
python 利用文件锁单例执行脚本的方法
2019/02/19 Python
python 中如何获取列表的索引
2019/07/02 Python
Python3 集合set入门基础
2020/02/10 Python
Pytorch 使用 nii数据做输入数据的操作
2020/05/26 Python
印度首选时尚目的地:Reliance Trends
2018/01/17 全球购物
WiFi云数码相框:Nixplay
2018/07/05 全球购物
豪华复古化妆:Besame Cosmetics
2019/09/06 全球购物
C语言编程题
2015/03/09 面试题
几个Shell Script面试题
2012/08/31 面试题
有个性的自我评价范文
2013/11/15 职场文书
省三好学生申请材料
2014/01/22 职场文书
即将毕业大学生自荐信
2014/01/24 职场文书
小学教师暑期培训方案
2014/08/28 职场文书
初中毕业典礼演讲稿
2014/09/09 职场文书
高中学生自我评价范文
2014/09/23 职场文书
2015年学校食堂工作总结
2015/04/22 职场文书
电影建国大业观后感
2015/06/01 职场文书
企业培训简报范文
2015/07/20 职场文书