Python使用Redis实现作业调度系统(超简单)


Posted in Python onMarch 22, 2016

概述

Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。

Redis从它的许多竞争继承来的三个主要特点:

Redis数据库完全在内存中,使用磁盘仅用于持久性。

相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

Redis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。

支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

步入主题:

Redis作为内存数据库的一个典型代表,已经在很多应用场景中被使用,这里仅就Redis的pub/sub功能来说说怎样通过此功能来实现一个简单的作业调度系统。这里只是想展现一个简单的想法,所以还是有很多需要考虑的东西没有包括在这个例子中,比如错误处理,持久化等。

下面是实现上的想法

MyMaster:集群的master节点程序,负责产生作业,派发作业和获取执行结果。

MySlave:集群的计算节点程序,每个计算节点一个,负责获取作业并运行,并将结果发送会master节点。

channel CHANNEL_DISPATCH:每个slave节点订阅一个channel,比如“CHANNEL_DISPATCH_[idx或机器名]”,master会向此channel中publish被dispatch的作业。

channel CHANNEL_RESULT:用来保存作业结果的channel,master和slave共享此channel,master订阅此channel来获取作业运行结果,每个slave负责将作业执行结果发布到此channel中。

Master代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MyMaster():
def __init__(self):
pass
def start(self):
MyServerResultHandleThread().start()
MyServerDispatchThread().start()
class MyServerDispatchThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
for i in range(1, 100):
channel = CHANNEL_DISPATCH + '_' + str(random.randint(1, 3))
print("Dispatch job %s to %s" % (str(i), channel))
ret = r.publish(channel, str(i))
if ret == 0:
print("Dispatch job %s failed." % str(i))
time.sleep(5)
class MyServerResultHandleThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(CHANNEL_RESULT)
for message in p.listen():
if message['type'] != 'message':
continue
print("Received finished job %s" % message['data'])
if __name__ == "__main__":
MyMaster().start()
time.sleep(10000)

说明

MyMaster类 - master主程序,用来启动dispatch和resulthandler的线程

MyServerDispatchThread类 - 派发作业线程,产生作业并派发到计算节点

MyServerResultHandleThread类 - 作业运行结果处理线程,从channel里获取作业结果并显示

Slave代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from datetime import datetime
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MySlave():
def __init__(self):
pass
def start(self):
for i in range(1, 4):
MyJobWorkerThread(CHANNEL_DISPATCH + '_' + str(i)).start()
class MyJobWorkerThread(threading.Thread):
def __init__(self, channel):
threading.Thread.__init__(self)
self.channel = channel
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(self.channel)
for message in p.listen():
if message['type'] != 'message':
continue
print("%s: Received dispatched job %s " % (self.channel, message['data']))
print("%s: Run dispatched job %s " % (self.channel, message['data']))
time.sleep(2)
print("%s: Send finished job %s " % (self.channel, message['data']))
ret = r.publish(CHANNEL_RESULT, message['data'])
if ret == 0:
print("%s: Send finished job %s failed." % (self.channel, message['data']))
if __name__ == "__main__":
MySlave().start()
time.sleep(10000)

说明

MySlave类 - slave节点主程序,用来启动MyJobWorkerThread的线程

MyJobWorkerThread类 - 从channel里获取派发的作业并将运行结果发送回master

测试

首先运行MySlave来定义派发作业channel。

然后运行MyMaster派发作业并显示执行结果。

有关Python使用Redis实现作业调度系统(超简单),小编就给大家介绍这么多,希望对大家有所帮助!

Python 相关文章推荐
Python文档生成工具pydoc使用介绍
Jun 02 Python
Python实现的简单排列组合算法示例
Jul 04 Python
NumPy 数学函数及代数运算的实现代码
Jul 18 Python
修改默认的pip版本为对应python2.7的方法
Nov 06 Python
Python JSON格式数据的提取和保存的实现
Mar 22 Python
详解pandas删除缺失数据(pd.dropna()方法)
Jun 25 Python
pandas实现将日期转换成timestamp
Dec 07 Python
Python实现读取并写入Excel文件过程解析
May 27 Python
在python中list作函数形参,防止被实参修改的实现方法
Jun 05 Python
Python基于template实现字符串替换
Nov 27 Python
Python一些基本的图像操作和处理总结
Jun 23 Python
Python+Tkinter打造签名设计工具
Apr 01 Python
python编写简单爬虫资料汇总
Mar 22 #Python
使用Nginx+uWsgi实现Python的Django框架站点动静分离
Mar 21 #Python
Python中的条件判断语句与循环语句用法小结
Mar 21 #Python
举例讲解Python中的迭代器、生成器与列表解析用法
Mar 20 #Python
深入解析Python中函数的参数与作用域
Mar 20 #Python
总结Python编程中函数的使用要点
Mar 20 #Python
两个命令把 Vim 打造成 Python IDE的方法
Mar 20 #Python
You might like
PHP管理内存函数 memory_get_usage()使用介绍
2012/09/23 PHP
解析htaccess伪静态的规则
2013/06/18 PHP
PHP中基本HTTP认证技巧分析
2015/03/16 PHP
让innerHTML的脚本也可以运行起来
2006/07/01 Javascript
jQuery表格行换色的三种实现方法
2011/06/27 Javascript
最新的10款jQuery内容滑块插件分享
2011/09/18 Javascript
jquery之超简单的div显示和隐藏特效demo(分享)
2013/07/09 Javascript
JavaScript的strict模式与with关键字介绍
2014/02/08 Javascript
jQuery实现炫酷的鼠标轨迹特效
2015/02/01 Javascript
在线引用最新jquery文件的实现方法
2016/08/26 Javascript
微信小程序实现实时圆形进度条的方法示例
2017/02/24 Javascript
JS实现获取汉字首字母拼音、全拼音及混拼音的方法
2017/11/14 Javascript
jQuery轮播图实例详解
2018/08/15 jQuery
如何从0开始用node写一个自己的命令行程序
2018/12/29 Javascript
在vue中利用v-html按分号将文本换行的例子
2019/11/14 Javascript
在antd Table中插入可编辑的单元格实例
2020/10/28 Javascript
Vue 事件的$event参数=事件的值案例
2021/01/29 Vue.js
Python实现Linux下守护进程的编写方法
2014/08/22 Python
Python的批量远程管理和部署工具Fabric用法实例
2015/01/23 Python
详解Python实现按任意键继续/退出的功能
2016/08/19 Python
使用Python进行二进制文件读写的简单方法(推荐)
2016/09/12 Python
python调用百度语音REST API
2018/08/30 Python
详解css position 5种不同的值的用法
2019/07/30 HTML / CSS
玩具反斗城西班牙网上商城:ToysRUs西班牙
2017/01/19 全球购物
毕业自我鉴定范文
2013/11/06 职场文书
主管职责范文
2013/11/09 职场文书
生产班组长岗位职责
2014/01/05 职场文书
大学生求职自我评价
2014/01/16 职场文书
女娲补天教学反思
2014/02/05 职场文书
综治维稳工作承诺书
2014/08/30 职场文书
2014年派出所工作总结
2014/11/21 职场文书
2014年节能工作总结
2014/12/18 职场文书
优秀少先队辅导员事迹材料
2014/12/24 职场文书
文员岗位职责范本
2015/04/16 职场文书
财务管理制度范本
2015/08/04 职场文书
JavaScript实现栈结构详细过程
2021/12/06 Javascript