django 实现celery动态设置周期任务执行时间


Posted in Python onNovember 19, 2019

蓝鲸paas平台app开发经验分享

腾讯蓝鲸智云是一套基于PaaS的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

PaaS平台不仅将应用服务的运行和开发环境作为一种服务提供给开发者用户,更为开发者用户提供了高效便捷的开发服务,如:组件系统,统一登录,权限管理,后台框架,MagicBox,桌面/工作台等。

django 实现celery动态设置周期任务执行时间

PaaS平台提供支持多语言的开发框架,助力运维人员能基于平台之上以自己擅长的技术语言(Python、java等)开发运维自动化工具。

通过了解PaaS的设计理念,运维人员能够基于蓝鲸的PaaS平台,从零开始进行SaaS应用的实战开发,快速构建企业运维/运营系统,提升企业自动化水平。

开发背景

之前在一个银行自动化运维项目中,客户希望我们在蓝鲸PaaS上开发一个数据库巡检SaaS。具体需求如下:

为了保障数据库正常运行,保证数据的安全性、完整性和可用性,需要开发一个自动化巡检工具,代替原来的人工数据库巡检。并且巡检周期窗口分为日巡检、周巡检、月巡检、半年度巡检四类:

日巡检维护指每日按计划进行的巡检维护活动,以检查数据库运行状态、数据库备份状态和告警错误为主要内容。

周巡检维护指按一周为周期,在每周指定日按计划进行的巡检维护活动,它的工作内容是在日巡检维护工作内容的基础上添加数据库对象检查、安全性检查等内容组成。

月巡检维护指按一月为周期,在每月指定日按计划进行的巡检维护活动,它的工作内容是在周巡检维护工作内容的基础上添加系统参数配置检查、硬件与系统平台运行状态检查等内容组成。

年度巡检维护指按半年或者一年为周期,在指定日按计划进行的巡检维护活动,它的工作内容是在月巡检维护工作内容的基础上添加数据库性能诊断检查组成。

巡检实现方式分为两种:

1、立即巡检

用户首先选择某一业务下对应的目标主机,需要巡检的数据库实例(支持多选),设置数据采样区间(当前时间之前的任意时间段)。

django 实现celery动态设置周期任务执行时间

点击立即巡检按钮,等待数秒钟,巡检完成。点击查看详情,导出报告。

django 实现celery动态设置周期任务执行时间

2、定时巡检

用户可以根据需求设置每天、每周、每月来执行巡检任务。这里举例说明一下每周,用户首先需要配置某业务下面主机、数据库实例、巡检频率、巡检时长(任意天数)、执行时间(每周某一天的某时某分某秒),如下图:

django 实现celery动态设置周期任务执行时间

实现方式

针对以上需求,平时我们开发时使用periodic_task装饰器,程序启动后自动执行周期任务:

@periodic_task(run_every=crontab(minute='*/5', hour='*', day_of_week="*"))
def get_time():
  """
  celery 周期任务示例

  run_every=crontab(minute='*/5', hour='*', day_of_week="*"):每 5 分钟执行一次任务
  """
  now = datetime.datetime.now()
  logger.error(u"celery 周期任务调用成功,当前时间:{}".format(now))

crontab()实例化的时候没设置任何参数,都是使用默认值。crontab一共有7个参数,常用有5个参数分别为:

minute:分钟,范围0-59

hour:小时,范围0-23

day_of_week:星期几,范围0-6。以星期天为开始,即0为星期天。这个星期几还可以使用英文缩写表示,例如“sun”表示星期天

day_of_month:每月第几号,范围1-31

month_of_year:月份,范围1-12

以上方案有个弊端:

需要每次根据巡检是周几,来计算数据采样区间具体时间,然后触发定时任务,可能会存在误差。

定时任务无法直接取消

举例来说,假如客户选择每周三早上8点执行任务,采样区间为3天。假如首次10月1日8:00执行任务,触发定时任务获取9月28日8:00-10月1日8:00之间的数据;然后再次执行时间为10月8日,再次触发定时任务,循环执行。

最终,通过以下方式解决:

模板函数提前开发完成,加上@task()装饰器:

@task()
def auto_iip(**kwargs):
   logger.error(kwargs)
   '此处写逻辑代码'

测试每分钟执行一次,启动工程,启动celery,调用下面函数,OK,等待1分钟,sucess!

from djcelery.models import PeriodicTask, CrontabSchedule
from djcelery.schedulers import ModelEntry, DatabaseScheduler
def test_celery_task(date_data):
  crontab= CrontabSchedule.objects.create(
    hour='*',
    minute='*/1',
    day_of_week='*',
    day_of_month='*',
    month_of_year="*"
  )
  schedule = crontab.schedule

  create_or_update_task = DatabaseScheduler.create_or_update_task
  #'home_application.celery_tasks.auto_iip' home模块下的task。
  task_template='home_application.celery_tasks.auto_iip'
  #task_name自定义,不能重复。
  task_name = 'test'
  schedule_dict = {
    'schedule': schedule,
    'args': [],
    'kwargs': data,
    'task': task_template,
    'enabled': 1
  }
  create_or_update_task(task_name, **schedule_dict)

定时任务停止,直接根据task_name进行删除

def delete_celery_task(task_name):
  DatabaseScheduler.delete_task(task_name)

ok!大功告成。

以上这篇django 实现celery动态设置周期任务执行时间就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现随机选择元素功能
Sep 14 Python
python中reload(module)的用法示例详解
Sep 15 Python
Django中url的反向查询的方法
Mar 14 Python
python计算阶乘和的方法(1!+2!+3!+...+n!)
Feb 01 Python
softmax及python实现过程解析
Sep 30 Python
wxpython绘制圆角窗体
Nov 18 Python
在python中利用try..except来代替if..else的用法
Dec 19 Python
Python 模拟生成动态产生验证码图片的方法
Feb 01 Python
pycharm 实现本地写代码,服务器运行的操作
Jun 08 Python
Python实例教程之检索输出月份日历表
Dec 16 Python
python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解
Feb 25 Python
解决pytorch-gpu 安装失败的记录
May 24 Python
python调用接口的4种方式代码实例
Nov 19 #Python
Python Django2.0集成Celery4.1教程
Nov 19 #Python
通过celery异步处理一个查询任务的完整代码
Nov 19 #Python
Django 自动生成api接口文档教程
Nov 19 #Python
wxpython实现按钮切换界面的方法
Nov 19 #Python
Python性能分析工具Profile使用实例
Nov 19 #Python
使用apiDoc实现python接口文档编写
Nov 19 #Python
You might like
第八节 访问方式 [8]
2006/10/09 PHP
php ajax 静态分页过程形式
2011/09/02 PHP
关于PHP的相似度计算函数:levenshtein的使用介绍
2013/04/15 PHP
深入解析PHP中逗号与点号的区别
2013/08/05 PHP
去除php注释和去除空格函数分享
2014/03/13 PHP
php带抄送和密件抄送的邮件发送方法
2015/03/20 PHP
PHP 判断字符串是中文还是英文, 或者是中英混合
2021/03/09 PHP
JQuery学习笔录 简单的JQuery
2012/04/09 Javascript
jQuery中json对象的复制方式介绍(数组及对象)
2013/06/08 Javascript
js实现图片旋转的三种方法
2014/04/10 Javascript
javascript实时获取鼠标坐标值并显示的方法
2015/04/30 Javascript
去除html代码里面的script正则方法
2016/05/19 Javascript
逻辑表达式中与或非的用法详解
2016/06/06 Javascript
js仿小米官网图片轮播特效
2016/09/29 Javascript
Vue表单验证插件的制作过程
2017/04/01 Javascript
微信小程序实现图片滚动效果示例
2018/12/05 Javascript
浅谈Vue.js 关于页面加载完成后执行一个方法的问题
2019/04/01 Javascript
javascript sort()对数组中的元素进行排序详解
2019/10/13 Javascript
关于angular引入ng-zorro的问题浅析
2020/09/09 Javascript
[04:03]2014DOTA2西雅图国际邀请赛 LGD战队巡礼
2014/07/07 DOTA
[01:16]DOTA2小知识课堂 Ep.03 芒果树无伤肉山
2019/12/05 DOTA
python读取csv文件并把文件放入一个list中的实例讲解
2018/04/27 Python
python中类的属性和方法介绍
2018/11/27 Python
Django 全局的static和templates的使用详解
2019/07/19 Python
python命名空间(namespace)简单介绍
2019/08/10 Python
Tensorflow 卷积的梯度反向传播过程
2020/02/10 Python
使用opencv中匹配点对的坐标提取方式
2020/06/04 Python
Booking.com美国:全球酒店预订网站
2017/04/18 全球购物
俄罗斯达美乐比萨外送服务:Domino’s Pizza
2020/12/18 全球购物
产品工艺师的岗位职责
2013/11/15 职场文书
户籍证明的格式
2014/01/13 职场文书
工程造价专业大学生职业规划范文
2014/03/09 职场文书
房产协议书范本
2014/10/18 职场文书
毕业论文致谢怎么写
2015/05/14 职场文书
电影雨中的树观后感
2015/06/15 职场文书
Python实现Excel文件的合并(以新冠疫情数据为例)
2022/03/20 Python