Django异步任务线程池实现原理


Posted in Python onDecember 17, 2019

这篇文章主要介绍了Django异步任务线程池实现原理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

当数据库数据量很大时(百万级),许多批量数据修改请求的响应会非常慢,一些不需要即时响应的任务可以放到后台的异步线程中完成,发起异步任务的请求就可以立即响应

选择用线程池的原因是:线程比进程更为可控。不像子进程,子线程会在所属进程结束时立即结束。线程可共享内存。

请求任务异步处理的原理

使用python manage.py runserver模式启动的Django应用只有一个进程,对于每个请求,主线程会开启一个子线程来处理请求。请求子线程向主线程申请一个新线程,然后把耗时的任务交给新线程,自身立即响应,这就是请求任务异步处理的原理。

可视化线程池

如果想要管理这批异步线程,知道他们是否在运行中,可以使用线程池(ThreadPoolExecutor)。

线程池会先启动若干数量的线程,并让这些线程都处于睡眠状态,当向线程池submit一个任务后,会唤醒线程池中的某一个睡眠线程,让它来处理这个任务,当处理完这个任务,线程又处于睡眠状态。

submit任务后会返回一个期程(future),这个对象可以查看线程池中执行此任务的线程是否仍在处理中

因此可以构建一个全局可视化线程池:

from concurrent.futures.thread import ThreadPoolExecutor


class ThreadPool(object):
  def __init__(self):
    # 线程池
    self.executor = ThreadPoolExecutor(20)
    # 用于存储每个项目批量任务的期程
    self.future_dict = {}

  # 检查某个项目是否有正在运行的批量任务
  def is_project_thread_running(self, project_id):
    future = self.future_dict.get(project_id, None)
    if future and future.running():
      # 存在正在运行的批量任务
      return True
    return False

  # 展示所有的异步任务
  def check_future(self):
    data = {}
    for project_id, future in self.future_dict.items():
      data[project_id] = future.running()
    return data

  def __del__(self):
    self.executor.shutdown()

# 主线程中的全局线程池
# global_thread_pool的生命周期是Django主线程运行的生命周期
global_thread_pool = ThreadPool()

使用:

# 检查异步任务
if global_thread_pool.is_project_thread_running(project_id):
  raise exceptions.ValidationError(detail='存在正在处理的批量任务,请稍后重试')

# 提交一个异步任务
future = global_thread_pool.executor.submit(self.batch_thread, project_id)
global_thread_pool.future_dict[project_id] = future

# 查看所有异步任务
@login_required
def check_future(request):
  data = global_thread_pool.check_future()
  return HttpResponse(status=status.HTTP_200_OK, content=json.dumps(data))

串行执行

使用线程锁

在全局线程池中初始化线程锁

class ThreadPool(object):
  def __init__(self):
    self.executor = ThreadPoolExecutor(20)
    self.future_dict = {}
    self.lock = threading.Lock()

然后执行线程前需要获取锁并再执行结束后释放锁

def batch_thread(self):
  global_thread_pool.lock.acquire()
  try:
    ...
    global_thread_pool.lock.release()
  except Exception:
    trace_log = traceback.format_exc()
    logger.error('异步任务执行失败:\n %s' % trace_log)
    global_thread_pool.lock.release()

需要捕捉异常预防子线程出错而无法释放锁的情况

异步线程任务执行前先检查数据库连接是否可用,然后关掉不可用连接

由于django的数据库连接是保存到线程本地变量中的,通过ThreadPoolExecutor创建的线程会保存各自的数据库连接。

当连接被保存的时间超过mysql连接的最大超时时间,连接失效,但不会被线程释放。

之后再调起线程执行涉及到数据库操作的异步任务时,会用到失效的数据库连接,导致报错“MySQL server has gone away”。

解决方案是在线程池的所有异步任务执行前先检查数据库连接是否可用,然后关掉不可用连接

def batch_thread(self):
  for conn in connections.all():
    conn.close_if_unusable_or_obsolete()
  ...

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python的常见命令注入威胁
Feb 18 Python
详解在Python中处理异常的教程
May 24 Python
Ruby元编程基础学习笔记整理
Jul 02 Python
Python subprocess模块常见用法分析
Jun 12 Python
详解django.contirb.auth-认证
Jul 16 Python
Python 使用Numpy对矩阵进行转置的方法
Jan 28 Python
Pandas之排序函数sort_values()的实现
Jul 09 Python
关于Python 常用获取元素 Driver 总结
Nov 24 Python
Python 实现将大图切片成小图,将小图组合成大图的例子
Mar 14 Python
Python OpenCV读取中文路径图像的方法
Jul 02 Python
python blinker 信号库
May 04 Python
关于pytest结合csv模块实现csv格式的数据驱动问题
May 30 Python
python 求10个数的平均数实例
Dec 16 #Python
python 经典数字滤波实例
Dec 16 #Python
Python实现把类当做字典来访问
Dec 16 #Python
python中p-value的实现方式
Dec 16 #Python
基于python读取.mat文件并取出信息
Dec 16 #Python
python基于plotly实现画饼状图代码实例
Dec 16 #Python
python 实现让字典的value 成为列表
Dec 16 #Python
You might like
thinkphp备份数据库的方法分享
2015/01/04 PHP
php实现可逆加密的方法
2015/08/11 PHP
Yii框架中用response保存cookie,用request读取cookie的原理解析
2019/09/04 PHP
JavaScript 学习笔记(七)字符串的连接
2009/12/31 Javascript
JQuery 引发两次$(document.ready)事件
2010/01/15 Javascript
juqery 学习之四 筛选过滤
2010/11/30 Javascript
js运动框架_包括图片的淡入淡出效果
2013/05/11 Javascript
jquery text(),val(),html()方法区别总结
2013/11/04 Javascript
推荐一款jQuery插件模板
2015/01/09 Javascript
Bootstrap实现圆角、圆形头像和响应式图片
2016/12/14 Javascript
Vue2.0设置全局样式(less/sass和css)
2017/11/18 Javascript
Vue父组件调用子组件事件方法
2018/02/23 Javascript
vue左侧菜单,树形图递归实现代码
2018/08/24 Javascript
在vue中使用express-mock搭建mock服务的方法
2018/11/07 Javascript
新手入门带你学习JavaScript引擎运行原理
2019/06/24 Javascript
angular6开发steps步骤条组件
2019/07/04 Javascript
javascript读取本地文件和目录方法详解
2020/08/06 Javascript
[01:45]亚洲邀请赛互动指南虚拟物品介绍
2015/01/30 DOTA
使用httplib模块来制作Python下HTTP客户端的方法
2015/06/19 Python
Python验证码识别处理实例
2015/12/28 Python
python cx_Oracle模块的安装和使用详细介绍
2017/02/13 Python
python实现的分析并统计nginx日志数据功能示例
2019/12/21 Python
Jacadi Paris美国官方网站:法国童装品牌
2017/10/15 全球购物
最耐用行李箱,一箱永流传:Briggs & Riley(全球终身保修)
2017/12/07 全球购物
美国NBA官方商店:NBA Store
2019/04/12 全球购物
使用索引有什么好处
2016/07/27 面试题
公司活动邀请函
2014/01/24 职场文书
运动会广播稿200米
2014/01/27 职场文书
应届毕业生个人求职信范文
2014/01/29 职场文书
社区庆中秋节活动方案
2014/02/07 职场文书
关于环保的标语
2014/06/13 职场文书
争先创优心得体会
2014/09/12 职场文书
党员个人党性分析材料
2014/12/18 职场文书
高中16字霸气押韵班级口号集锦!
2019/06/27 职场文书
导游词之太湖
2019/10/08 职场文书
python神经网络 使用Keras构建RNN训练
2022/05/04 Python