Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中最常用的操作列表的几种方法归纳
Apr 24 Python
python Django批量导入数据
Mar 25 Python
关于Python中空格字符串处理的技巧总结
Aug 10 Python
Python数据结构与算法之完全树与最小堆实例
Dec 13 Python
解析Python中的eval()、exec()及其相关函数
Dec 20 Python
python pexpect ssh 远程登录服务器的方法
Feb 14 Python
Django如何自定义model创建数据库索引的顺序
Jun 20 Python
对python3中的RE(正则表达式)-详细总结
Jul 23 Python
Flask框架请求钩子与request请求对象用法实例分析
Nov 07 Python
关于numpy.where()函数 返回值的解释
Dec 06 Python
python中的split()函数和os.path.split()函数使用详解
Dec 21 Python
Python3使用腾讯云文字识别(腾讯OCR)提取图片中的文字内容实例详解
Feb 18 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
兼容性比较好的PHP生成缩略图的代码
2011/01/12 PHP
php二维数组排序与默认自然排序的方法介绍
2013/04/27 PHP
php 获取xml接口数据的处理方法
2018/05/31 PHP
js电信网通双线自动选择技巧
2008/11/18 Javascript
支持ie与FireFox的剪切板操作代码
2009/09/28 Javascript
jquery nth-child()选择器的简单应用
2010/07/10 Javascript
document.getElementById的简写方式(获取id对象的简略写法)
2010/09/10 Javascript
DOM_window对象属性之--clipboardData对象操作代码
2011/02/03 Javascript
Javascript实现关联数据(Linked Data)查询及注意细节
2013/02/22 Javascript
Javascript将数值转换为金额格式(分隔千分位和自动增加小数点)
2016/06/22 Javascript
js倒计时显示实例
2016/12/11 Javascript
JS中检测数据类型的几种方式及优缺点小结
2016/12/12 Javascript
Canvas实现动态的雪花效果
2017/02/13 Javascript
原生JS实现《别踩白块》游戏(兼容IE)
2017/02/20 Javascript
nodeJS(express4.x)+vue(vue-cli)构建前后端分离实例(带跨域)
2017/07/05 NodeJs
JS实现快速比较两个字符串中包含有相同数字的方法
2017/09/11 Javascript
BACKBONE.JS 简单入门范例
2017/10/17 Javascript
nodejs连接mysql数据库及基本知识点详解
2018/03/20 NodeJs
微信小程序自定义导航栏实例代码
2019/04/05 Javascript
初学node.js中实现删除用户路由
2019/05/27 Javascript
JavaScript ECMA-262-3 深入解析(二):变量对象实例详解
2020/04/25 Javascript
vue修改Element的el-table样式的4种方法
2020/09/17 Javascript
JS数据类型分类及常用判断方法
2020/11/19 Javascript
[01:20:47]DOTA2-DPC中国联赛 正赛 Ehome vs Magma BO3 第一场 1月19日
2021/03/11 DOTA
python 多进程共享全局变量之Manager()详解
2019/08/15 Python
python入门之基础语法学习笔记
2020/02/08 Python
matplotlib 对坐标的控制,加图例注释的操作
2020/04/17 Python
pytorch下的unsqueeze和squeeze的用法说明
2021/02/06 Python
html5实现九宫格抽奖可固定抽中某项奖品
2020/06/15 HTML / CSS
日语系毕业生推荐信
2013/11/11 职场文书
集团公司党的群众路线教育实践活动工作总结
2014/03/03 职场文书
售后客服工作职责
2014/06/16 职场文书
搞笑的爱情检讨书
2014/10/01 职场文书
领导干部群众路线教育实践活动剖析材料
2014/10/10 职场文书
2015年银行员工工作总结
2015/04/24 职场文书
超详细Python解释器新手安装教程
2021/05/10 Python