Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python 解析XML文件
Apr 15 Python
使用python搭建Django应用程序步骤及版本冲突问题解决
Nov 19 Python
pyv8学习python和javascript变量进行交互
Dec 04 Python
python写的一个squid访问日志分析的小程序
Sep 17 Python
python删除特定文件的方法
Jul 30 Python
如何在Python函数执行前后增加额外的行为
Oct 20 Python
python设置环境变量的原因和方法
Jun 24 Python
Python函数式编程实例详解
Jan 17 Python
Python多线程通信queue队列用法实例分析
Mar 24 Python
Python基于class()实现面向对象原理详解
Mar 26 Python
python利用tkinter实现图片格式转换的示例
Sep 28 Python
Python序列化与反序列化相关知识总结
Jun 08 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
使用PHPMyAdmin修复论坛数据库的图文方法
2012/01/09 PHP
TMDPHP 模板引擎使用教程
2012/03/13 PHP
yii框架builder、update、delete使用方法
2014/04/30 PHP
ThinkPHP的cookie和session冲突造成Cookie不能使用的解决方法
2014/07/01 PHP
PHP中数据类型转换的三种方式
2015/04/02 PHP
[原创]ThinkPHP让../Public在模板不解析(直接输出)的方法
2015/10/09 PHP
PHP基于curl post实现发送url及相关中文乱码问题解决方法
2017/11/25 PHP
PHP ADODB生成下拉列表框功能示例
2018/05/29 PHP
PHP基于timestamp和nonce实现的防止重放攻击方案分析
2019/07/26 PHP
JS 字符串连接[性能比较]
2009/05/10 Javascript
基于jquery的滚动新闻列表
2010/06/19 Javascript
js鼠标点击事件在各个浏览器中的写法及Event对象属性介绍
2013/01/24 Javascript
Jquery $.getJSON 在IE下的缓存问题解决方法
2014/10/10 Javascript
利用Vue.js实现checkbox的全选反选效果
2017/01/18 Javascript
vue mounted 调用两次的完美解决办法
2018/10/29 Javascript
超好用的jQuery分页插件jpaginate用法示例【附源码下载】
2018/12/06 jQuery
[原创]微信小程序获取网络类型的方法示例
2019/03/01 Javascript
vue监听键盘事件的相关总结
2021/01/29 Vue.js
从零学Python之入门(五)缩进和选择
2014/05/27 Python
Python使用min、max函数查找二维数据矩阵中最小、最大值的方法
2018/05/15 Python
Django之创建引擎索引报错及解决详解
2019/07/17 Python
Pytorch Tensor基本数学运算详解
2019/12/30 Python
python两种获取剪贴板内容的方法
2020/11/06 Python
墨西哥网上购物:Linio墨西哥
2016/10/20 全球购物
Gucci法国官方网站:意大利奢侈品牌
2018/07/25 全球购物
物业经理求职自我评价
2013/09/22 职场文书
英语专业个人求职信范文
2014/02/01 职场文书
政法学院毕业生求职信
2014/02/28 职场文书
大一新生期末自我评价
2014/09/12 职场文书
专题组织生活会发言材料
2014/10/17 职场文书
2014年信用社工作总结
2014/11/25 职场文书
2014年单位工作总结范文
2014/11/27 职场文书
挂职锻炼工作总结2015
2015/05/28 职场文书
2016年优秀少先队辅导员事迹材料
2016/02/26 职场文书
MySQL update set 和 and的区别
2021/05/08 MySQL
使用Python开发冰球小游戏
2022/04/30 Python