实例分析python3实现并发访问水平切分表


Posted in Python onSeptember 29, 2018

场景说明

假设有一个mysql表被水平切分,分散到多个host中,每个host拥有n个切分表。

如果需要并发去访问这些表,快速得到查询结果, 应该怎么做呢?

这里提供一种方案,利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。

代码演示

import logging
import random
import asynciofrom aiomysql 
import create_pool
# 假设mysql表分散在8个host, 每个host有16张子表
TBLES = {  "192.168.1.01": "table_000-015",
# 000-015表示该ip下的表明从table_000一直连续到table_015
  "192.168.1.02": "table_016-031", 
   "192.168.1.03": "table_032-047",  
    "192.168.1.04": "table_048-063", 
     "192.168.1.05": "table_064-079",  
     "192.168.1.06": "table_080-095", 
      "192.168.1.07": "table_096-0111", 
       "192.168.1.08": "table_112-0127",
}
USER = "xxx"PASSWD = "xxxx"# wrapper函数,用于捕捉异常def query_wrapper(func):
  async def wrapper(*args, **kwargs):
    try:
      await func(*args, **kwargs)    except Exception as e:
      print(e)  return wrapper
      # 实际的sql访问处理函数,通过aiomysql实现异步非阻塞请求@
      query_wrapperasync def query_do_something(ip, db, table):
  async with create_pool(host=ip, db=db, user=USER, password=PASSWD) as pool:
    async with pool.get() as conn:
      async with conn.cursor() as cur:
        sql = ("select xxx from {} where xxxx")
        await cur.execute(sql.format(table))
        res = await cur.fetchall()    
 # then do something...# 生成sql访问队列, 队列的每个元素包含要对某个表进行访问的函数及参数def gen_tasks():
  tasks = []  for ip, tbls in TBLES.items():
    cols = re.split('_|-', tbls)
    tblpre = "_".join(cols[:-2])
    min_num = int(cols[-2])
    max_num = int(cols[-1])   
      for num in range(min_num, max_num+1):
      tasks.append(
        (query_do_something, ip, 'your_dbname', '{}_{}'.format(tblpre, num))
      )
 
  random.shuffle(tasks)  
   return tasks# 按批量运行sql访问请求队列def run_tasks(tasks, batch_len):
  try:  
    for idx in range(0, len(tasks), batch_len):
      batch_tasks = tasks[idx:idx+batch_len]
      logging.info("current batch, start_idx:%s len:%s" % (idx, len(batch_tasks))) 
            for i in range(0, len(batch_tasks)):
        l = batch_tasks[i]
        batch_tasks[i] = asyncio.ensure_future(
          l[0](*l[1:])
        )
      loop.run_until_complete(asyncio.gather(*batch_tasks)) 
       except Exception as e:
    logging.warn(e)# main方法, 通过asyncio实现函数异步调用def main():
  loop = asyncio.get_event_loop()
 
  tasks = gen_tasks()
  batch_len = len(TBLES.keys()) * 5  # all up to you
  run_tasks(tasks, batch_len)
 
  loop.close()

以上就是本次相关内容的全部实例代码,大家可以本地测试以下,感谢你对三水点靠木的支持。

Python 相关文章推荐
pygame学习笔记(5):游戏精灵
Apr 15 Python
Python元组拆包和具名元组解析实例详解
Mar 26 Python
Python 3.x 安装opencv+opencv_contrib的操作方法
Apr 02 Python
基于python进行桶排序与基数排序的总结
May 29 Python
selenium+python环境配置教程详解
May 28 Python
详解python实现交叉验证法与留出法
Jul 11 Python
解决Django中修改js css文件但浏览器无法及时与之改变的问题
Aug 31 Python
python程序文件扩展名知识点详解
Feb 27 Python
将tf.batch_matmul替换成tf.matmul的实现
Jun 18 Python
python如何设置静态变量
Sep 07 Python
python利用文件时间批量重命名照片和视频
Feb 09 Python
Python实现我的世界小游戏源代码
Mar 02 Python
3个用于数据科学的顶级Python库
Sep 29 #Python
使用Python机器学习降低静态日志噪声
Sep 29 #Python
python实现字符串和字典的转换
Sep 29 #Python
python实现字符串中字符分类及个数统计
Sep 28 #Python
python中使用zip函数出现错误的原因
Sep 28 #Python
python中的for循环
Sep 28 #Python
Django migrations 默认目录修改的方法教程
Sep 28 #Python
You might like
简单了解将WordPress中的工具栏移到底部的小技巧
2015/12/31 PHP
PHP读取word文档的方法分析【基于COM组件】
2017/08/01 PHP
PHP yield关键字功能与用法分析
2019/01/03 PHP
JQuery 1.4 中的Ajax问题
2010/01/23 Javascript
ExtJS PropertyGrid中使用Combobox选择值问题
2010/06/13 Javascript
只需20行代码就可以写出CSS覆盖率测试脚本
2013/04/24 Javascript
浅谈页面装载js及性能分析方法
2014/12/09 Javascript
浅谈js中变量初始化
2015/02/03 Javascript
JavaScript使用二分查找算法在数组中查找数据的方法
2015/04/07 Javascript
jqueryMobile 动态添加元素,展示刷新视图的实现方法
2016/05/28 Javascript
bootstrap多种样式进度条展示
2016/12/20 Javascript
JS简单实现移动端日历功能示例
2016/12/28 Javascript
从零开始学习Node.js系列教程四:多页面实现数学运算的client端和server端示例
2017/04/13 Javascript
Webpack 服务器端代码打包的示例代码
2017/09/19 Javascript
js + css实现标签内容切换功能(实例讲解)
2017/10/09 Javascript
使用typescript构建Vue应用的实现
2019/08/26 Javascript
JavaScript直接调用函数与call调用的区别实例分析
2020/05/22 Javascript
Nuxt pages下不同的页面对应layout下的页面布局操作
2020/11/05 Javascript
微信小程序实现modal弹出框遮罩层组件(可带文本框)
2020/12/20 Javascript
[56:42]VP vs RNG 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
[01:21:58]守擂赛DOTA2第一周决赛
2020/04/22 DOTA
Python3基础之函数用法
2014/08/13 Python
使用python实现正则匹配检索远端FTP目录下的文件
2015/03/25 Python
Python中的复制操作及copy模块中的浅拷贝与深拷贝方法
2016/07/02 Python
不同版本中Python matplotlib.pyplot.draw()界面绘制异常问题的解决
2017/09/24 Python
Python-openCV读RGB通道图实例
2020/01/17 Python
Python描述数据结构学习之哈夫曼树篇
2020/09/07 Python
css3实现背景动态渐变效果
2019/12/10 HTML / CSS
一些网络技术方面的面试题
2014/05/01 面试题
房地产出纳岗位职责
2013/12/01 职场文书
小区门卫岗位职责范本
2014/08/24 职场文书
幼儿园感恩节活动方案2014
2014/10/11 职场文书
前台接待员岗位职责
2015/04/15 职场文书
详解pytorch创建tensor函数
2022/03/22 Python
Python OpenCV形态学运算示例详解
2022/04/07 Python
html网页引入svg图片的4种方式
2022/08/05 HTML / CSS