python文件读写并使用mysql批量插入示例分享(python操作mysql)


Posted in Python onFebruary 17, 2014
# -*- coding: utf-8 -*-
'''
Created on 2013年12月9日
@author: hhdys
'''
import os
import mysql.connector
config = {
  'user': 'root',
  'password': '******',
  'host': '127.0.0.1',
  'database': 'test',
  'raise_on_warnings': True,
}
cnx = mysql.connector.connect(**config)
class ReadFile:
    def readLines(self):
        f = open("E:/data/2013-11-5.txt", "r", 1, "utf-8")
        i=0
        list=[]
        for line in f:
            strs = line.split("\t")
            if len(strs) != 5:
                continue
            data=(strs[0], strs[1], strs[2], strs[3], strs[4].replace("\n",""))
            list.append(data)
            cursor=cnx.cursor()
            sql = "insert into data_test(uid,log_date,fr,is_login,url)values(%s,%s,%s,%s,%s)"
            if i>5000:
                cursor.executemany(sql,list)
                cnx.commit()
                print("插入")
                i=0
                list.clear()
            i=i+1
        if i>0:
            cursor.executemany(sql,list)
            cnx.commit()
        cnx.close()
        f.close()
        print("ok")
    def listFiles(self):
        d = os.listdir("E:/data/")
        return d
            
if __name__ == "__main__":
    readFile = ReadFile()
    readFile.readLines()
Python 相关文章推荐
Python中处理字符串的相关的len()方法的使用简介
May 19 Python
Python实现拷贝多个文件到同一目录的方法
Sep 19 Python
Python数据结构与算法之图的基本实现及迭代器实例详解
Dec 12 Python
Python内置模块ConfigParser实现配置读写功能的方法
Feb 12 Python
Python爬虫包BeautifulSoup实例(三)
Jun 17 Python
使用Python操作FTP实现上传和下载的方法
Apr 01 Python
python3+PyQt5 创建多线程网络应用-TCP客户端和TCP服务器实例
Jun 17 Python
使用 PyTorch 实现 MLP 并在 MNIST 数据集上验证方式
Jan 08 Python
python tqdm 实现滚动条不上下滚动代码(保持一行内滚动)
Feb 19 Python
spyder 在控制台(console)执行python文件,debug python程序方式
Apr 20 Python
opencv实现图像几何变换
Mar 24 Python
Appium中scroll和drag_and_drop根据元素位置滑动
Feb 15 Python
python实现bitmap数据结构详解
Feb 17 #Python
python实现ftp客户端示例分享
Feb 17 #Python
用smtplib和email封装python发送邮件模块类分享
Feb 17 #Python
python类参数self使用示例
Feb 17 #Python
python实现爬虫下载漫画示例
Feb 16 #Python
python发送邮件示例(支持中文邮件标题)
Feb 16 #Python
python定时器使用示例分享
Feb 16 #Python
You might like
一个SQL管理员的web接口
2006/10/09 PHP
PHP Class&Object -- 解析PHP实现二叉树
2013/06/25 PHP
php中jpgraph类库的使用介绍
2013/08/08 PHP
php include类文件超时问题处理
2015/02/06 PHP
PHP使用pear实现mail发送功能 windows环境下配置pear
2016/04/15 PHP
laravel5.1框架model类查询的实现方法
2019/10/08 PHP
javascript SocialHistory 检查访问者是否访问过某站点
2008/08/02 Javascript
JQuery 构建客户/服务分离的链接模型中Table中的排序分析
2010/01/22 Javascript
javascript 窗口加载蒙板 内嵌网页内容
2010/11/19 Javascript
HTML5之lang属性与dir属性的详解
2013/06/19 Javascript
控制页面按钮在后台执行期间不重复提交的JS方法
2013/06/24 Javascript
jquery自动切换tabs选项卡的具体实现
2013/12/24 Javascript
基于bootstrap的选择框插件icheck
2016/12/23 Javascript
jQuery使用siblings获取某元素所有同辈(兄弟姐妹)元素用法示例
2017/01/30 Javascript
vue如何使用 Slot 分发内容实例详解
2017/09/05 Javascript
vue 登录滑动验证实现代码
2018/08/24 Javascript
Node.js API详解之 module模块用法实例分析
2020/05/13 Javascript
Js Snowflake(雪花算法)生成随机ID的实现方法
2020/08/26 Javascript
Python浅复制中对象生存周期实例分析
2018/04/02 Python
对命令行模式与python交互模式介绍
2018/05/12 Python
python pickle存储、读取大数据量列表、字典数据的方法
2019/07/07 Python
python3连接kafka模块pykafka生产者简单封装代码
2019/12/23 Python
python安装dlib库报错问题及解决方法
2020/03/16 Python
python相对企业语言优势在哪
2020/06/12 Python
德国大型的家具商店:Pharao24.de
2016/10/02 全球购物
香港钟表珠宝首饰商城:OneMallTime网摩间
2016/10/14 全球购物
问卷调查计划书
2014/01/10 职场文书
初中地理教学反思
2014/01/11 职场文书
《三袋麦子》教学反思
2014/03/02 职场文书
会计人员岗位职责
2014/03/19 职场文书
代理协议书范本
2014/04/22 职场文书
活动总结模板
2014/05/09 职场文书
邮政营业员岗位职责
2015/04/14 职场文书
董存瑞观后感
2015/06/11 职场文书
Python Flask搭建yolov3目标检测系统详解流程
2021/11/07 Python
MIME类型中application/xml与text/xml的区别介绍
2022/01/18 HTML / CSS