使用python读取csv文件快速插入数据库的实例


Posted in Python onJune 21, 2018

如下所示:

# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys

reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')

engine = create_engine(
 'postgresql+psycopg2://'数据库连接)

filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='

print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'

print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)

connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'

这个脚本可以直接运行,将csv文件放在同级目录即可。

csv第一列需要有列名,如果csv里没有列名,需要在代码中添加列名。

代码运行示例:python insert.py csvname tablename

以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
从零学python系列之浅谈pickle模块封装和拆封数据对象的方法
May 23 Python
python自动化测试之setUp与tearDown实例
Sep 28 Python
使用Python脚本来获取Cisco设备信息的示例
May 04 Python
Python中如何获取类属性的列表
Dec 26 Python
python3中int(整型)的使用教程
Mar 23 Python
python基础教程项目三之万能的XML
Apr 02 Python
简单分析python的类变量、实例变量
Aug 23 Python
如何在mac环境中用python处理protobuf
Dec 25 Python
Pyecharts 动态地图 geo()和map()的安装与用法详解
Mar 25 Python
python中strip(),lstrip(),rstrip()函数的使用讲解
Nov 17 Python
如何设置PyCharm中的Python代码模版(推荐)
Nov 20 Python
python实现银行账户系统
Feb 22 Python
详解python3中tkinter知识点
Jun 21 #Python
Python3用tkinter和PIL实现看图工具
Jun 21 #Python
Python3.4 tkinter,PIL图片转换
Jun 21 #Python
Python3实现转换Image图片格式
Jun 21 #Python
python3实现域名查询和whois查询功能
Jun 21 #Python
解决python写入mysql中datetime类型遇到的问题
Jun 21 #Python
详解Python下ftp上传文件linux服务器
Jun 21 #Python
You might like
一个简易需要注册的留言版程序
2006/10/09 PHP
一周学会PHP(视频)Http下载
2006/12/12 PHP
vs中通过剪切板循环来循环粘贴不同内容
2011/04/30 PHP
Zend studio文件注释模板设置方法
2013/09/29 PHP
PHP调试的强悍利器之PHPDBG
2016/02/22 PHP
Zend Framework实现多文件上传功能实例
2016/03/21 PHP
php注册系统和使用Xajax即时验证用户名是否被占用
2017/08/31 PHP
PHP添加文字水印或图片水印的水印类完整源代码与使用示例
2019/03/18 PHP
PHP中将一个字符串部分字符用星号*替代隐藏的实现代码
2019/09/08 PHP
Js+Flash实现访问剪切板操作
2012/11/20 Javascript
jquery select动态加载选择(兼容各种浏览器)
2013/02/01 Javascript
js unicode 编码解析关于数据转换为中文的两种方法
2014/04/21 Javascript
在Linux系统中搭建Node.js开发环境的简单步骤讲解
2016/01/26 Javascript
JavaScript的Vue.js库入门学习教程
2016/05/23 Javascript
浅谈DOCTYPE对$(window).height()取值的影响
2016/07/21 Javascript
JS遍历ul下的li点击弹出li的索引的实现方法
2016/09/19 Javascript
vue-cli如何快速构建vue项目
2017/04/26 Javascript
vue实现在线翻译功能
2019/09/27 Javascript
js实现点击按钮随机生成背景颜色
2020/09/05 Javascript
Python 通过URL打开图片实例详解
2017/06/01 Python
Python用于学习重要算法的模块pygorithm实例浅析
2018/08/16 Python
Django 响应数据response的返回源码详解
2019/08/06 Python
TensorFlow tf.nn.max_pool实现池化操作方式
2020/01/04 Python
Python网络爬虫信息提取mooc代码实例
2020/03/06 Python
Softmax函数原理及Python实现过程解析
2020/05/22 Python
Python之Sklearn使用入门教程
2021/02/19 Python
美国顶尖折扣时尚购物网:Bluefly
2016/08/28 全球购物
西班牙第一的网上药房:PromoFarma.com
2017/04/17 全球购物
德国大型和小型家用电器网上商店:Energeto
2019/05/15 全球购物
优秀党员主要事迹
2014/01/19 职场文书
全民健身日活动方案
2014/01/29 职场文书
项目经理任命书范本
2014/06/05 职场文书
庆祝国庆节标语
2014/10/09 职场文书
2015年班长个人工作总结
2015/04/03 职场文书
2015年秋季小学开学标语
2015/07/16 职场文书
2019广播稿怎么写
2019/04/17 职场文书