利用pandas向一个csv文件追加写入数据的实现示例


Posted in Python onApril 23, 2020

我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)

pandas to_csv()只能在新文件写数据?当然不是!

pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。

pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。

下面让我们来看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

Python 相关文章推荐
python创建临时文件夹的方法
Jul 06 Python
python递归删除指定目录及其所有内容的方法
Jan 13 Python
Python使用内置json模块解析json格式数据的方法
Jul 20 Python
Python实现的随机森林算法与简单总结
Jan 30 Python
Python cookbook(数据结构与算法)通过公共键对字典列表排序算法示例
Mar 15 Python
我喜欢你 抖音表白程序python版
Apr 07 Python
centos 安装Python3 及对应的pip教程详解
Jun 28 Python
Python空间数据处理之GDAL读写遥感图像
Aug 01 Python
django中瀑布流写法实例代码
Oct 14 Python
pandas中的数据去重处理的实现方法
Feb 10 Python
django 数据库返回queryset实现封装为字典
May 19 Python
Pytorch 图像变换函数集合小结
Feb 01 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 #Python
Python将二维列表list的数据输出(TXT,Excel)
Apr 23 #Python
Python基于DB-API操作MySQL数据库过程解析
Apr 23 #Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 #Python
Python matplotlib实时画图案例
Apr 23 #Python
windows下的pycharm安装及其设置中文菜单
Apr 23 #Python
使用python+poco+夜神模拟器进行自动化测试实例
Apr 23 #Python
You might like
完美解决PHP中文乱码
2009/11/26 PHP
批量获取memcache值并按key的顺序返回的实现代码
2011/06/14 PHP
深入PHP中的HashTable结构详解
2013/06/13 PHP
Php output buffering缓存及程序缓存深入解析
2013/07/15 PHP
JavaScript中匿名函数用法实例
2015/03/23 Javascript
js限制input标签中只能输入中文
2015/06/26 Javascript
javascript中tostring()和valueof()的用法及两者的区别
2015/11/16 Javascript
javascript加减乘除的简单实例
2016/07/12 Javascript
js获取指定字符前/后的字符串简单实例
2016/10/27 Javascript
EasyUI学习之Combobox下拉列表(1)
2016/12/29 Javascript
AngularJS学习笔记之表单验证功能实例详解
2017/07/06 Javascript
ES6 Generator函数的应用实例分析
2019/06/26 Javascript
使用DataFrame删除行和列的实例讲解
2018/04/08 Python
python实现简单日期工具类
2019/04/24 Python
python安装scipy的方法步骤
2019/06/26 Python
Python文件操作中进行字符串替换的方法(保存到新文件/当前文件)
2019/06/28 Python
python实现凯撒密码、凯撒加解密算法
2020/06/11 Python
pandas抽取行列数据的几种方法
2020/12/13 Python
html5中localStorage本地存储的简单使用
2017/06/16 HTML / CSS
新西兰珠宝品牌:Michael Hill
2017/09/16 全球购物
加拿大服装和鞋类零售商:Mark’s
2021/01/04 全球购物
材料物理专业个人求职信
2013/12/15 职场文书
料理师求职信
2014/01/30 职场文书
给老婆大人的检讨书
2014/02/24 职场文书
党员群众路线剖析材料
2014/10/08 职场文书
群众路线教育实践活动整改落实情况汇报
2014/10/28 职场文书
优秀班主任主要事迹材料
2014/12/16 职场文书
英语教师求职信范文
2015/03/20 职场文书
毕业论文致谢范文
2015/05/14 职场文书
新生开学寄语大全
2015/05/28 职场文书
2016年6月份红领巾广播稿
2015/12/21 职场文书
创业计划书之溜冰场
2019/10/25 职场文书
浅谈Python列表嵌套字典转化的问题
2021/04/07 Python
go web 预防跨站脚本的实现方式
2021/06/11 Golang
python神经网络学习 使用Keras进行回归运算
2022/05/04 Python
Apache自带的ab压力测试工具的实现
2022/07/23 Servers