Python使用Pandas库实现MySQL数据库的读写


Posted in Python onJuly 06, 2019

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识

ORM技术

对象关系映射技术,即ORM(Object-Relational Mapping)技术,指的是把关系数据库的表结构映射到对象上,通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中。

在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。

SQLAlchemy

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行

SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接,SQLAlchemy用一个字符串表示连接信息:

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名

Pandas读写MySQL数据库

我们需要以下三个库来实现Pandas读写MySQL数据库:

  • pandas
  • sqlalchemy
  • pymysql

其中,pandas模块提供了read_sql_query()函数实现了对数据库的查询,to_sql()函数实现了对数据库的写入。并不需要实现新建MySQL数据表。

sqlalchemy模块实现了与不同数据库的连接,而pymysql模块则使得Python能够操作MySQL数据库。

我们将使用MySQL数据库中的mydb数据库以及employee表,内容如下:

Python使用Pandas库实现MySQL数据库的读写

注意:

1.根据库的文档,我们看到to_sql函数支持两类mysql引擎一个是sqlalchemy,另一个是sqlliet3.没错,在你写入库的时候,pymysql是不能用的!!!

mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3!!鉴于sqllift3已经很久没有更新了,笔者这里建议使用sqlalchemy!!

2.to_sql函数并不在pd之中,而是在io.sql之中,是sql脚本下的一个类!!!所以to_sql的最好写法就是:

pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')  

下面将介绍一个简单的例子来展示如何在pandas中实现对MySQL数据库的读写:

import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接,使用pymysql模块
# MySQL的用户:root, 密码:147369, 端口:3306,数据库:test
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查询语句,选出employee表中的所有数据
sql = ''' select * from employee; '''
# read_sql_query的两个参数: sql语句, 数据库连接
df = pd.read_sql_query(sql, engine)
# 输出employee表的查询结果
print(df)

# 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 将新建的DataFrame储存为MySQL中的数据表,储存index列
df.to_sql('mydf', engine, index=True)
print('Read from and write to Mysql table successfully!')

运行结果:

Python使用Pandas库实现MySQL数据库的读写

这说明我们确实将pandas中新建的DataFrame写入到了MySQL中!

将CSV文件写入到MySQL中

以上的例子实现了使用Pandas库实现MySQL数据库的读写,我们将再介绍一个实例:将CSV文件写入到MySQL中,示例的example.csv文件如下

Python使用Pandas库实现MySQL数据库的读写

示例的Python代码如下:

# -*- coding: utf-8 -*-

# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine

# 初始化数据库连接,使用pymysql模块
db_info = {'user': 'root',
      'password': '123456',
      'host': 'localhost',
      'port': 3306,
      'database': 'test'
      }

engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
# 直接使用下一种形式也可以
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')

# 读取本地CSV文件
df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',')
print(df)
# 将新建的DataFrame储存为MySQL中的数据表,不储存index列(index=False)
# if_exists:
# 1.fail:如果表存在,啥也不做
# 2.replace:如果表存在,删了表,再建立一个新表,把数据插入
# 3.append:如果表存在,把数据插入,如果表不存在创建一个表!!
pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace')
# df.to_sql('example', con=engine, if_exists='replace')这种形式也可以
print("Write to MySQL successfully!")

在MySQL中查看example表格

Python使用Pandas库实现MySQL数据库的读写

补充:engine.execute(sql)可以直接执行sql语句:

from sqlalchemy import create_engine 
 
 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)

如果用pymysql,则必须用cursor,读者可以对比一下。

import pymysql
from sqlalchemy import create_engine

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS test_input"
cursor = conn.cursor()
cursor.execute(sql)

总结

本文主要介绍了ORM技术以及SQLAlchemy模块,并且展示了两个Python程序的实例,介绍了如何使用Pandas库实现MySQL数据库的读写。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python装饰器的函数式编程详解
Feb 27 Python
python实现逻辑回归的方法示例
May 02 Python
使用Django Form解决表单数据无法动态刷新的两种方法
Jul 14 Python
浅谈Python Opencv中gamma变换的使用详解
Apr 02 Python
Django框架文件上传与自定义图片上传路径、上传文件名操作分析
May 10 Python
python对绑定事件的鼠标、按键的判断实例
Jul 17 Python
tensorflow实现训练变量checkpoint的保存与读取
Feb 10 Python
python MultipartEncoder传输zip文件实例
Apr 07 Python
浅谈pycharm导入pandas包遇到的问题及解决
Jun 01 Python
django序列化时使用外键的真实值操作
Jul 15 Python
Jupyter Notebook 远程访问配置详解
Jan 11 Python
Python绘制散点图之可视化神器pyecharts
Jul 07 Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
Jul 06 #Python
python3 打印输出字典中特定的某个key的方法示例
Jul 06 #Python
python使用 zip 同时迭代多个序列示例
Jul 06 #Python
Python搭建Spark分布式集群环境
Jul 05 #Python
You might like
php array_map array_multisort 高效处理多维数组排序
2009/06/11 PHP
PHP备份/还原MySQL数据库的代码
2011/01/06 PHP
xml在joomla表单中的应用详解分享
2012/07/19 PHP
php中使用临时表查询数据的一个例子
2013/02/03 PHP
javascript web对话框与弹出窗口
2009/02/22 Javascript
JavaScript实现相册弹窗功能(zepto.js)
2016/06/21 Javascript
javascript 中的事件委托详解
2016/10/25 Javascript
详解webpack之scss和postcss-loader的配置
2018/01/09 Javascript
vue内置指令详解
2018/04/03 Javascript
vue-rx的初步使用教程
2018/09/21 Javascript
浅谈Vue2.4.0 $attrs与inheritAttrs的具体使用
2020/03/08 Javascript
[01:10]DOTA2亚洲邀请赛 征战号角响彻全场
2015/01/06 DOTA
python求解水仙花数的方法
2015/05/11 Python
浅谈python多线程和队列管理shell程序
2015/08/04 Python
python下setuptools的安装详解及No module named setuptools的解决方法
2017/07/06 Python
python使用TensorFlow进行图像处理的方法
2018/02/28 Python
Python中一行和多行import模块问题
2018/04/01 Python
python利用thrift服务读取hbase数据的方法
2018/12/27 Python
python3实现小球转动抽奖小游戏
2020/04/15 Python
python BlockingScheduler定时任务及其他方式的实现
2019/09/19 Python
Python之Numpy的超实用基础详细教程
2019/10/23 Python
Python 批量读取文件中指定字符的实现
2020/03/06 Python
Nisbets爱尔兰:英国最大的厨房和餐饮设备供应商
2019/01/26 全球购物
缓解脚、腿和背部疼痛:Z-CoiL鞋
2019/03/12 全球购物
Hotels.com泰国:酒店预订网站
2019/11/20 全球购物
铭立家具面试题
2012/12/06 面试题
家长给老师的道歉信
2014/01/13 职场文书
美德好少年事迹材料
2014/01/19 职场文书
青年志愿者事迹材料
2014/02/07 职场文书
七匹狼男装广告词
2014/03/21 职场文书
毕业生如何写自荐信
2014/03/26 职场文书
体育课课后反思
2014/04/24 职场文书
医学专业毕业生求职信
2014/06/20 职场文书
拾金不昧锦旗标语
2014/06/27 职场文书
Windows下使用Nginx+Tomcat做负载均衡的完整步骤
2021/03/31 Servers
Python Pandas常用函数方法总结
2021/06/15 Python