django 实现celery动态设置周期任务执行时间


Posted in Python onNovember 19, 2019

蓝鲸paas平台app开发经验分享

腾讯蓝鲸智云是一套基于PaaS的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

PaaS平台不仅将应用服务的运行和开发环境作为一种服务提供给开发者用户,更为开发者用户提供了高效便捷的开发服务,如:组件系统,统一登录,权限管理,后台框架,MagicBox,桌面/工作台等。

django 实现celery动态设置周期任务执行时间

PaaS平台提供支持多语言的开发框架,助力运维人员能基于平台之上以自己擅长的技术语言(Python、java等)开发运维自动化工具。

通过了解PaaS的设计理念,运维人员能够基于蓝鲸的PaaS平台,从零开始进行SaaS应用的实战开发,快速构建企业运维/运营系统,提升企业自动化水平。

开发背景

之前在一个银行自动化运维项目中,客户希望我们在蓝鲸PaaS上开发一个数据库巡检SaaS。具体需求如下:

为了保障数据库正常运行,保证数据的安全性、完整性和可用性,需要开发一个自动化巡检工具,代替原来的人工数据库巡检。并且巡检周期窗口分为日巡检、周巡检、月巡检、半年度巡检四类:

日巡检维护指每日按计划进行的巡检维护活动,以检查数据库运行状态、数据库备份状态和告警错误为主要内容。

周巡检维护指按一周为周期,在每周指定日按计划进行的巡检维护活动,它的工作内容是在日巡检维护工作内容的基础上添加数据库对象检查、安全性检查等内容组成。

月巡检维护指按一月为周期,在每月指定日按计划进行的巡检维护活动,它的工作内容是在周巡检维护工作内容的基础上添加系统参数配置检查、硬件与系统平台运行状态检查等内容组成。

年度巡检维护指按半年或者一年为周期,在指定日按计划进行的巡检维护活动,它的工作内容是在月巡检维护工作内容的基础上添加数据库性能诊断检查组成。

巡检实现方式分为两种:

1、立即巡检

用户首先选择某一业务下对应的目标主机,需要巡检的数据库实例(支持多选),设置数据采样区间(当前时间之前的任意时间段)。

django 实现celery动态设置周期任务执行时间

点击立即巡检按钮,等待数秒钟,巡检完成。点击查看详情,导出报告。

django 实现celery动态设置周期任务执行时间

2、定时巡检

用户可以根据需求设置每天、每周、每月来执行巡检任务。这里举例说明一下每周,用户首先需要配置某业务下面主机、数据库实例、巡检频率、巡检时长(任意天数)、执行时间(每周某一天的某时某分某秒),如下图:

django 实现celery动态设置周期任务执行时间

实现方式

针对以上需求,平时我们开发时使用periodic_task装饰器,程序启动后自动执行周期任务:

@periodic_task(run_every=crontab(minute='*/5', hour='*', day_of_week="*"))
def get_time():
  """
  celery 周期任务示例

  run_every=crontab(minute='*/5', hour='*', day_of_week="*"):每 5 分钟执行一次任务
  """
  now = datetime.datetime.now()
  logger.error(u"celery 周期任务调用成功,当前时间:{}".format(now))

crontab()实例化的时候没设置任何参数,都是使用默认值。crontab一共有7个参数,常用有5个参数分别为:

minute:分钟,范围0-59

hour:小时,范围0-23

day_of_week:星期几,范围0-6。以星期天为开始,即0为星期天。这个星期几还可以使用英文缩写表示,例如“sun”表示星期天

day_of_month:每月第几号,范围1-31

month_of_year:月份,范围1-12

以上方案有个弊端:

需要每次根据巡检是周几,来计算数据采样区间具体时间,然后触发定时任务,可能会存在误差。

定时任务无法直接取消

举例来说,假如客户选择每周三早上8点执行任务,采样区间为3天。假如首次10月1日8:00执行任务,触发定时任务获取9月28日8:00-10月1日8:00之间的数据;然后再次执行时间为10月8日,再次触发定时任务,循环执行。

最终,通过以下方式解决:

模板函数提前开发完成,加上@task()装饰器:

@task()
def auto_iip(**kwargs):
   logger.error(kwargs)
   '此处写逻辑代码'

测试每分钟执行一次,启动工程,启动celery,调用下面函数,OK,等待1分钟,sucess!

from djcelery.models import PeriodicTask, CrontabSchedule
from djcelery.schedulers import ModelEntry, DatabaseScheduler
def test_celery_task(date_data):
  crontab= CrontabSchedule.objects.create(
    hour='*',
    minute='*/1',
    day_of_week='*',
    day_of_month='*',
    month_of_year="*"
  )
  schedule = crontab.schedule

  create_or_update_task = DatabaseScheduler.create_or_update_task
  #'home_application.celery_tasks.auto_iip' home模块下的task。
  task_template='home_application.celery_tasks.auto_iip'
  #task_name自定义,不能重复。
  task_name = 'test'
  schedule_dict = {
    'schedule': schedule,
    'args': [],
    'kwargs': data,
    'task': task_template,
    'enabled': 1
  }
  create_or_update_task(task_name, **schedule_dict)

定时任务停止,直接根据task_name进行删除

def delete_celery_task(task_name):
  DatabaseScheduler.delete_task(task_name)

ok!大功告成。

以上这篇django 实现celery动态设置周期任务执行时间就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用SAX解析xml实例
Nov 21 Python
Python实现删除文件但保留指定文件
Jun 21 Python
Python中的__slots__示例详解
Jul 06 Python
Python使用Shelve保存对象方法总结
Jan 28 Python
如何用Python破解wifi密码过程详解
Jul 12 Python
python腾讯语音合成实现过程解析
Aug 01 Python
深入学习python多线程与GIL
Aug 26 Python
Python3.7 pyodbc完美配置访问access数据库
Oct 03 Python
python将时分秒转换成秒的实例
Dec 07 Python
Python实现图片识别加翻译功能
Dec 26 Python
Python实现实时数据采集新型冠状病毒数据实例
Feb 04 Python
python3 循环读取excel文件并写入json操作
Jul 14 Python
python调用接口的4种方式代码实例
Nov 19 #Python
Python Django2.0集成Celery4.1教程
Nov 19 #Python
通过celery异步处理一个查询任务的完整代码
Nov 19 #Python
Django 自动生成api接口文档教程
Nov 19 #Python
wxpython实现按钮切换界面的方法
Nov 19 #Python
Python性能分析工具Profile使用实例
Nov 19 #Python
使用apiDoc实现python接口文档编写
Nov 19 #Python
You might like
编写php应用程序实现摘要式身份验证的方法详解
2013/06/08 PHP
PHP常用文件操作函数和简单实例分析
2016/06/03 PHP
php ajax数据传输和响应方法
2018/08/21 PHP
禁止iframe页面的所有js脚本如alert及弹出窗口等
2014/09/03 Javascript
javascript中html字符串转化为jquery dom对象的方法
2015/08/27 Javascript
jquery实现的点击翻书效果代码
2015/11/04 Javascript
js+canvas绘制矩形的方法
2016/01/28 Javascript
js实现轮播图的两种方式(构造函数、面向对象)
2017/09/30 Javascript
ES6 javascript的异步操作实例详解
2017/10/30 Javascript
关于自定义Egg.js的请求级别日志详解
2018/12/12 Javascript
js实现动态时钟
2020/03/12 Javascript
详解Vue3 Composition API中的提取和重用逻辑
2020/04/29 Javascript
JavaScript实现随机点名小程序
2020/10/29 Javascript
Pyhton中防止SQL注入的方法
2015/02/05 Python
Python将多份excel表格整理成一份表格
2018/01/03 Python
Django的HttpRequest和HttpResponse对象详解
2018/01/26 Python
django2.0扩展用户字段示例
2019/02/13 Python
keras实现多种分类网络的方式
2020/06/11 Python
python编写扎金花小程序的实例代码
2021/02/23 Python
基于html5绘制圆形多角图案
2016/04/21 HTML / CSS
HTML5单页面手势滑屏切换原理分析
2017/07/10 HTML / CSS
goodhealth官方海外旗舰店:新西兰国民营养师
2017/12/15 全球购物
俄罗斯隐形眼镜和眼镜在线商店:Cronos
2020/06/02 全球购物
这段代码难道不该打印出56吗
2013/02/27 面试题
小学门卫岗位职责
2013/12/17 职场文书
暑期社会实践方案
2014/02/05 职场文书
《谁的本领大》教后反思
2014/04/25 职场文书
大学新生入学教育方案
2014/05/16 职场文书
环境日宣传活动总结
2014/07/09 职场文书
村班子对照检查材料
2014/08/18 职场文书
机关班子查摆问题及整改措施
2014/10/28 职场文书
Python中for后接else的语法使用
2021/05/18 Python
Springboot如何使用logback实现多环境配置?
2021/06/16 Java/Android
MySQL面试题讲解之如何设置Hash索引
2021/11/01 MySQL
详解JAVA的控制语句
2021/11/11 Java/Android
Android 界面一键变灰 深色主题工具类
2022/04/28 Java/Android