Python使用Pandas库实现MySQL数据库的读写


Posted in Python onJuly 06, 2019

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识

ORM技术

对象关系映射技术,即ORM(Object-Relational Mapping)技术,指的是把关系数据库的表结构映射到对象上,通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中。

在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。

SQLAlchemy

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行

SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接,SQLAlchemy用一个字符串表示连接信息:

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名

Pandas读写MySQL数据库

我们需要以下三个库来实现Pandas读写MySQL数据库:

  • pandas
  • sqlalchemy
  • pymysql

其中,pandas模块提供了read_sql_query()函数实现了对数据库的查询,to_sql()函数实现了对数据库的写入。并不需要实现新建MySQL数据表。

sqlalchemy模块实现了与不同数据库的连接,而pymysql模块则使得Python能够操作MySQL数据库。

我们将使用MySQL数据库中的mydb数据库以及employee表,内容如下:

Python使用Pandas库实现MySQL数据库的读写

注意:

1.根据库的文档,我们看到to_sql函数支持两类mysql引擎一个是sqlalchemy,另一个是sqlliet3.没错,在你写入库的时候,pymysql是不能用的!!!

mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3!!鉴于sqllift3已经很久没有更新了,笔者这里建议使用sqlalchemy!!

2.to_sql函数并不在pd之中,而是在io.sql之中,是sql脚本下的一个类!!!所以to_sql的最好写法就是:

pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')  

下面将介绍一个简单的例子来展示如何在pandas中实现对MySQL数据库的读写:

import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接,使用pymysql模块
# MySQL的用户:root, 密码:147369, 端口:3306,数据库:test
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查询语句,选出employee表中的所有数据
sql = ''' select * from employee; '''
# read_sql_query的两个参数: sql语句, 数据库连接
df = pd.read_sql_query(sql, engine)
# 输出employee表的查询结果
print(df)

# 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 将新建的DataFrame储存为MySQL中的数据表,储存index列
df.to_sql('mydf', engine, index=True)
print('Read from and write to Mysql table successfully!')

运行结果:

Python使用Pandas库实现MySQL数据库的读写

这说明我们确实将pandas中新建的DataFrame写入到了MySQL中!

将CSV文件写入到MySQL中

以上的例子实现了使用Pandas库实现MySQL数据库的读写,我们将再介绍一个实例:将CSV文件写入到MySQL中,示例的example.csv文件如下

Python使用Pandas库实现MySQL数据库的读写

示例的Python代码如下:

# -*- coding: utf-8 -*-

# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine

# 初始化数据库连接,使用pymysql模块
db_info = {'user': 'root',
      'password': '123456',
      'host': 'localhost',
      'port': 3306,
      'database': 'test'
      }

engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
# 直接使用下一种形式也可以
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')

# 读取本地CSV文件
df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',')
print(df)
# 将新建的DataFrame储存为MySQL中的数据表,不储存index列(index=False)
# if_exists:
# 1.fail:如果表存在,啥也不做
# 2.replace:如果表存在,删了表,再建立一个新表,把数据插入
# 3.append:如果表存在,把数据插入,如果表不存在创建一个表!!
pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace')
# df.to_sql('example', con=engine, if_exists='replace')这种形式也可以
print("Write to MySQL successfully!")

在MySQL中查看example表格

Python使用Pandas库实现MySQL数据库的读写

补充:engine.execute(sql)可以直接执行sql语句:

from sqlalchemy import create_engine 
 
 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)

如果用pymysql,则必须用cursor,读者可以对比一下。

import pymysql
from sqlalchemy import create_engine

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS test_input"
cursor = conn.cursor()
cursor.execute(sql)

总结

本文主要介绍了ORM技术以及SQLAlchemy模块,并且展示了两个Python程序的实例,介绍了如何使用Pandas库实现MySQL数据库的读写。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python调用ctypes使用C函数printf的方法
Aug 23 Python
详解python中的 is 操作符
Dec 26 Python
python自动发送邮件脚本
Jun 20 Python
Python正则匹配判断手机号是否合法的方法
Dec 09 Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 Python
详解Python图像处理库Pillow常用使用方法
Sep 02 Python
PyTorch预训练的实现
Sep 18 Python
Python Numpy库常见用法入门教程
Jan 16 Python
手把手教你进行Python虚拟环境配置教程
Feb 03 Python
Python使用monkey.patch_all()解决协程阻塞问题
Apr 15 Python
Python3爬虫发送请求的知识点实例
Jul 30 Python
python-jwt用户认证食用教学的实现方法
Jan 19 Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
Jul 06 #Python
python3 打印输出字典中特定的某个key的方法示例
Jul 06 #Python
python使用 zip 同时迭代多个序列示例
Jul 06 #Python
Python搭建Spark分布式集群环境
Jul 05 #Python
You might like
开发大型 PHP 项目的方法
2007/01/02 PHP
全局记录程序片段的运行时间 正确找到程序逻辑耗时多的断点
2011/01/06 PHP
php可应用于面包屑导航的迭代寻找家谱树实现方法
2015/02/02 PHP
Laravel 5 框架入门(三)
2015/04/09 PHP
浅谈PHP中静态方法和非静态方法的相互调用
2016/10/04 PHP
Javascript 学习笔记 错误处理
2009/07/30 Javascript
JavaScript toFixed() 方法
2010/04/15 Javascript
该如何加载google-analytics(或其他第三方)的JS
2010/05/13 Javascript
javascript实现阻止iOS APP中的链接打开Safari浏览器
2014/06/12 Javascript
JavaScript实现简单的二级导航菜单实例
2015/04/15 Javascript
JavaScript编程中布尔对象的基本使用
2015/10/25 Javascript
EasyUI加载完Html内容样式渲染完成后显示
2016/07/25 Javascript
微信小程序中实现一对多发消息详解及实例代码
2017/02/14 Javascript
Webpack打包css后z-index被重新计算的解决方法
2017/06/18 Javascript
Vue中this.$router.push参数获取方法
2018/02/27 Javascript
解析vue data不可以使用箭头函数问题
2018/07/03 Javascript
vue-cli3使用mock数据的方法分析
2020/03/16 Javascript
JavaScript函数重载操作实例浅析
2020/05/02 Javascript
Python解析nginx日志文件
2015/05/11 Python
python用reduce和map把字符串转为数字的方法
2016/12/19 Python
总结python实现父类调用两种方法的不同
2017/01/15 Python
基于Python的XSS测试工具XSStrike使用方法
2017/07/29 Python
django用户注册、登录、注销和用户扩展的示例
2018/03/19 Python
浅谈Python编程中3个常用的数据结构和算法
2019/04/30 Python
Python实现TCP探测目标服务路由轨迹的原理与方法详解
2019/09/04 Python
python shutil文件操作工具使用实例分析
2019/12/25 Python
python梯度下降算法的实现
2020/02/24 Python
css和css3弹性盒模型实现元素宽度(高度)自适应
2019/05/15 HTML / CSS
美国复古街头服饰精品店:Need Supply Co.
2017/02/22 全球购物
Paradox London官方网站:英国新娘鞋婚礼鞋品牌
2019/08/29 全球购物
System.Array.CopyTo()和System.Array.Clone()有什么区别
2016/06/20 面试题
留学生求职信
2014/06/03 职场文书
门卫岗位职责说明书
2014/08/18 职场文书
战友聚会致辞
2015/07/28 职场文书
MySQL数据库如何给表设置约束详解
2022/03/13 MySQL
讨论nginx location 顺序问题
2022/05/30 Servers