利用pandas向一个csv文件追加写入数据的实现示例


Posted in Python onApril 23, 2020

我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)

pandas to_csv()只能在新文件写数据?当然不是!

pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。

pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。

下面让我们来看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

Python 相关文章推荐
Python Deque 模块使用详解
Jul 04 Python
Python基于递归算法实现的汉诺塔与Fibonacci数列示例
Apr 18 Python
python简单区块链模拟详解
Jul 03 Python
python框架django项目部署相关知识详解
Nov 04 Python
python pygame实现球球大作战
Nov 25 Python
Python使用指定字符长度切分数据示例
Dec 05 Python
通过实例解析python描述符原理作用
Jan 22 Python
详解django使用include无法跳转的解决方法
Mar 19 Python
keras处理欠拟合和过拟合的实例讲解
May 25 Python
Python将list元素转存为CSV文件的实现
Nov 16 Python
Python利用Turtle绘制哆啦A梦和小猪佩奇
Apr 04 Python
Python可视化神器pyecharts绘制地理图表
Jul 07 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 #Python
Python将二维列表list的数据输出(TXT,Excel)
Apr 23 #Python
Python基于DB-API操作MySQL数据库过程解析
Apr 23 #Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 #Python
Python matplotlib实时画图案例
Apr 23 #Python
windows下的pycharm安装及其设置中文菜单
Apr 23 #Python
使用python+poco+夜神模拟器进行自动化测试实例
Apr 23 #Python
You might like
需要发散思维学习PHP
2009/06/29 PHP
mysql_num_rows VS COUNT 效率问题分析
2011/04/23 PHP
DEDECMS首页调用图片集里的多张图片
2015/06/05 PHP
WordPress用户登录框密码的隐藏与部分显示技巧
2015/12/31 PHP
鼠标焦点离开文本框时验证的js代码
2013/07/19 Javascript
javascript中定义私有方法说明(private method)
2014/01/27 Javascript
jQuery插件开发的五种形态小结
2015/03/04 Javascript
jQuery中dom元素上绑定的事件详解
2015/04/24 Javascript
jquery插件jquery.nicescroll实现图片无滚动条左右拖拽的方法
2015/08/10 Javascript
jQuery基于扩展实现的倒计时效果
2016/05/14 Javascript
js获取当前年月日-YYYYmmDD格式的实现代码
2016/06/01 Javascript
js本地图片预览实现代码
2016/10/09 Javascript
Vue.js 插件开发详解
2017/03/29 Javascript
详解vue父子组件间传值(props)
2017/06/29 Javascript
详解vue项目的构建,打包,发布全过程
2017/11/23 Javascript
Vue验证码60秒倒计时功能简单实例代码
2018/06/22 Javascript
react-router 路由切换动画的实现示例
2018/12/03 Javascript
基于elementUI实现图片预览组件的示例代码
2019/03/31 Javascript
JS严格模式原理与用法实例分析
2020/04/27 Javascript
element-ui中el-upload多文件一次性上传的实现
2020/12/02 Javascript
echarts浮动显示单位的实现方法示例
2020/12/04 Javascript
python中执行shell命令的几个方法小结
2014/09/18 Python
Python实现TCP/IP协议下的端口转发及重定向示例
2016/06/14 Python
Python探索之URL Dispatcher实例详解
2017/10/28 Python
Python使用dict.fromkeys()快速生成一个字典示例
2019/04/24 Python
Django 用户认证组件使用详解
2019/07/23 Python
pytorch查看通道数 维数 尺寸大小方式
2020/05/26 Python
Book Depository欧盟:一家领先的国际图书零售商
2019/05/21 全球购物
Ego Shoes官网:英国时髦鞋类品牌
2020/10/19 全球购物
工作中个人的自我评价
2013/12/31 职场文书
硕士研究生就业推荐信
2014/05/18 职场文书
数学系毕业生求职信
2014/05/29 职场文书
教师三严三实对照检查材料
2014/09/25 职场文书
搞笑的爱情检讨书
2014/10/01 职场文书
大学文艺委员竞选稿
2015/11/19 职场文书
python画条形图的具体代码
2022/04/20 Python