django 实现celery动态设置周期任务执行时间


Posted in Python onNovember 19, 2019

蓝鲸paas平台app开发经验分享

腾讯蓝鲸智云是一套基于PaaS的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

PaaS平台不仅将应用服务的运行和开发环境作为一种服务提供给开发者用户,更为开发者用户提供了高效便捷的开发服务,如:组件系统,统一登录,权限管理,后台框架,MagicBox,桌面/工作台等。

django 实现celery动态设置周期任务执行时间

PaaS平台提供支持多语言的开发框架,助力运维人员能基于平台之上以自己擅长的技术语言(Python、java等)开发运维自动化工具。

通过了解PaaS的设计理念,运维人员能够基于蓝鲸的PaaS平台,从零开始进行SaaS应用的实战开发,快速构建企业运维/运营系统,提升企业自动化水平。

开发背景

之前在一个银行自动化运维项目中,客户希望我们在蓝鲸PaaS上开发一个数据库巡检SaaS。具体需求如下:

为了保障数据库正常运行,保证数据的安全性、完整性和可用性,需要开发一个自动化巡检工具,代替原来的人工数据库巡检。并且巡检周期窗口分为日巡检、周巡检、月巡检、半年度巡检四类:

日巡检维护指每日按计划进行的巡检维护活动,以检查数据库运行状态、数据库备份状态和告警错误为主要内容。

周巡检维护指按一周为周期,在每周指定日按计划进行的巡检维护活动,它的工作内容是在日巡检维护工作内容的基础上添加数据库对象检查、安全性检查等内容组成。

月巡检维护指按一月为周期,在每月指定日按计划进行的巡检维护活动,它的工作内容是在周巡检维护工作内容的基础上添加系统参数配置检查、硬件与系统平台运行状态检查等内容组成。

年度巡检维护指按半年或者一年为周期,在指定日按计划进行的巡检维护活动,它的工作内容是在月巡检维护工作内容的基础上添加数据库性能诊断检查组成。

巡检实现方式分为两种:

1、立即巡检

用户首先选择某一业务下对应的目标主机,需要巡检的数据库实例(支持多选),设置数据采样区间(当前时间之前的任意时间段)。

django 实现celery动态设置周期任务执行时间

点击立即巡检按钮,等待数秒钟,巡检完成。点击查看详情,导出报告。

django 实现celery动态设置周期任务执行时间

2、定时巡检

用户可以根据需求设置每天、每周、每月来执行巡检任务。这里举例说明一下每周,用户首先需要配置某业务下面主机、数据库实例、巡检频率、巡检时长(任意天数)、执行时间(每周某一天的某时某分某秒),如下图:

django 实现celery动态设置周期任务执行时间

实现方式

针对以上需求,平时我们开发时使用periodic_task装饰器,程序启动后自动执行周期任务:

@periodic_task(run_every=crontab(minute='*/5', hour='*', day_of_week="*"))
def get_time():
  """
  celery 周期任务示例

  run_every=crontab(minute='*/5', hour='*', day_of_week="*"):每 5 分钟执行一次任务
  """
  now = datetime.datetime.now()
  logger.error(u"celery 周期任务调用成功,当前时间:{}".format(now))

crontab()实例化的时候没设置任何参数,都是使用默认值。crontab一共有7个参数,常用有5个参数分别为:

minute:分钟,范围0-59

hour:小时,范围0-23

day_of_week:星期几,范围0-6。以星期天为开始,即0为星期天。这个星期几还可以使用英文缩写表示,例如“sun”表示星期天

day_of_month:每月第几号,范围1-31

month_of_year:月份,范围1-12

以上方案有个弊端:

需要每次根据巡检是周几,来计算数据采样区间具体时间,然后触发定时任务,可能会存在误差。

定时任务无法直接取消

举例来说,假如客户选择每周三早上8点执行任务,采样区间为3天。假如首次10月1日8:00执行任务,触发定时任务获取9月28日8:00-10月1日8:00之间的数据;然后再次执行时间为10月8日,再次触发定时任务,循环执行。

最终,通过以下方式解决:

模板函数提前开发完成,加上@task()装饰器:

@task()
def auto_iip(**kwargs):
   logger.error(kwargs)
   '此处写逻辑代码'

测试每分钟执行一次,启动工程,启动celery,调用下面函数,OK,等待1分钟,sucess!

from djcelery.models import PeriodicTask, CrontabSchedule
from djcelery.schedulers import ModelEntry, DatabaseScheduler
def test_celery_task(date_data):
  crontab= CrontabSchedule.objects.create(
    hour='*',
    minute='*/1',
    day_of_week='*',
    day_of_month='*',
    month_of_year="*"
  )
  schedule = crontab.schedule

  create_or_update_task = DatabaseScheduler.create_or_update_task
  #'home_application.celery_tasks.auto_iip' home模块下的task。
  task_template='home_application.celery_tasks.auto_iip'
  #task_name自定义,不能重复。
  task_name = 'test'
  schedule_dict = {
    'schedule': schedule,
    'args': [],
    'kwargs': data,
    'task': task_template,
    'enabled': 1
  }
  create_or_update_task(task_name, **schedule_dict)

定时任务停止,直接根据task_name进行删除

def delete_celery_task(task_name):
  DatabaseScheduler.delete_task(task_name)

ok!大功告成。

以上这篇django 实现celery动态设置周期任务执行时间就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python捕捉和模拟鼠标事件的方法
Jun 03 Python
Python 中迭代器与生成器实例详解
Mar 29 Python
使用python实现接口的方法
Jul 07 Python
Python实现导出数据生成excel报表的方法示例
Jul 12 Python
使用apidocJs快速生成在线文档的实例讲解
Feb 07 Python
python进行两个表格对比的方法
Jun 27 Python
Python构建图像分类识别器的方法
Jan 12 Python
Django实现web端tailf日志文件功能及实例详解
Jul 28 Python
python实现倒计时小工具
Jul 29 Python
Django 解决由save方法引发的错误
May 21 Python
基于Python制作一副扑克牌过程详解
Oct 19 Python
python 自定义异常和主动抛出异常(raise)的操作
Dec 11 Python
python调用接口的4种方式代码实例
Nov 19 #Python
Python Django2.0集成Celery4.1教程
Nov 19 #Python
通过celery异步处理一个查询任务的完整代码
Nov 19 #Python
Django 自动生成api接口文档教程
Nov 19 #Python
wxpython实现按钮切换界面的方法
Nov 19 #Python
Python性能分析工具Profile使用实例
Nov 19 #Python
使用apiDoc实现python接口文档编写
Nov 19 #Python
You might like
PHP中使用unset销毁变量并内存释放问题
2012/07/05 PHP
基于ubuntu下nginx+php+mysql安装配置的具体操作步骤
2013/04/28 PHP
php集成套件服务器xampp安装使用教程(适合第一次玩PHP的新手)
2015/06/03 PHP
php获取远程文件内容的函数
2015/11/02 PHP
PHP 微信支付类 demo
2015/11/30 PHP
浅谈PHP中try{}catch{}的使用方法
2016/12/09 PHP
JavaScript 替换Html标签实现代码
2009/10/14 Javascript
javascript 简单抽屉效果的实现代码
2010/03/09 Javascript
jQuery学习笔记之Helloworld
2010/12/22 Javascript
JavaScript子类用Object.getPrototypeOf去调用父类方法解析
2013/12/05 Javascript
在JS中如何调用JSP中的变量
2014/01/22 Javascript
javasctipt如何显示几分钟前、几天前等
2014/04/30 Javascript
了不起的node.js读书笔记之例程分析
2014/12/22 Javascript
有效提高JavaScript执行效率的几点知识
2015/01/31 Javascript
Bootstrap滚动监听(Scrollspy)插件详解
2016/04/26 Javascript
javascript阻止事件冒泡和浏览器的默认行为
2017/01/21 Javascript
js判断文件类型大小并给出提示的实现方法
2018/01/03 Javascript
JS实现的RC4加密算法示例
2018/08/16 Javascript
图文详解vue框架安装步骤
2019/02/12 Javascript
vue-test-utils初使用详解
2019/05/23 Javascript
一篇文章弄懂javascript中的执行栈与执行上下文
2019/08/09 Javascript
浅析Vue中拆分视图层代码的5点建议
2019/08/15 Javascript
vue 判断页面是首次进入还是再次刷新的实例
2020/11/05 Javascript
Python实现自动添加脚本头信息的示例代码
2016/09/02 Python
Python实现采用进度条实时显示处理进度的方法
2017/12/19 Python
浅谈python图片处理Image和skimage的区别
2019/08/04 Python
Python 变量的创建过程详解
2019/09/02 Python
python wav模块获取采样率 采样点声道量化位数(实例代码)
2020/01/22 Python
社区道德讲堂实施方案
2014/03/21 职场文书
汉语专业毕业生自荐信
2014/07/06 职场文书
校友回访母校寄语
2015/02/26 职场文书
工作收入证明模板
2015/06/12 职场文书
地震捐款简报
2015/07/21 职场文书
委托书范本格式
2019/04/18 职场文书
分享几个JavaScript运算符的使用技巧
2021/04/24 Javascript
opencv检测动态物体的实现
2021/07/21 Python