Python使用Redis实现作业调度系统(超简单)


Posted in Python onMarch 22, 2016

概述

Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。

Redis从它的许多竞争继承来的三个主要特点:

Redis数据库完全在内存中,使用磁盘仅用于持久性。

相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

Redis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。

支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

步入主题:

Redis作为内存数据库的一个典型代表,已经在很多应用场景中被使用,这里仅就Redis的pub/sub功能来说说怎样通过此功能来实现一个简单的作业调度系统。这里只是想展现一个简单的想法,所以还是有很多需要考虑的东西没有包括在这个例子中,比如错误处理,持久化等。

下面是实现上的想法

MyMaster:集群的master节点程序,负责产生作业,派发作业和获取执行结果。

MySlave:集群的计算节点程序,每个计算节点一个,负责获取作业并运行,并将结果发送会master节点。

channel CHANNEL_DISPATCH:每个slave节点订阅一个channel,比如“CHANNEL_DISPATCH_[idx或机器名]”,master会向此channel中publish被dispatch的作业。

channel CHANNEL_RESULT:用来保存作业结果的channel,master和slave共享此channel,master订阅此channel来获取作业运行结果,每个slave负责将作业执行结果发布到此channel中。

Master代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MyMaster():
def __init__(self):
pass
def start(self):
MyServerResultHandleThread().start()
MyServerDispatchThread().start()
class MyServerDispatchThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
for i in range(1, 100):
channel = CHANNEL_DISPATCH + '_' + str(random.randint(1, 3))
print("Dispatch job %s to %s" % (str(i), channel))
ret = r.publish(channel, str(i))
if ret == 0:
print("Dispatch job %s failed." % str(i))
time.sleep(5)
class MyServerResultHandleThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(CHANNEL_RESULT)
for message in p.listen():
if message['type'] != 'message':
continue
print("Received finished job %s" % message['data'])
if __name__ == "__main__":
MyMaster().start()
time.sleep(10000)

说明

MyMaster类 - master主程序,用来启动dispatch和resulthandler的线程

MyServerDispatchThread类 - 派发作业线程,产生作业并派发到计算节点

MyServerResultHandleThread类 - 作业运行结果处理线程,从channel里获取作业结果并显示

Slave代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from datetime import datetime
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MySlave():
def __init__(self):
pass
def start(self):
for i in range(1, 4):
MyJobWorkerThread(CHANNEL_DISPATCH + '_' + str(i)).start()
class MyJobWorkerThread(threading.Thread):
def __init__(self, channel):
threading.Thread.__init__(self)
self.channel = channel
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(self.channel)
for message in p.listen():
if message['type'] != 'message':
continue
print("%s: Received dispatched job %s " % (self.channel, message['data']))
print("%s: Run dispatched job %s " % (self.channel, message['data']))
time.sleep(2)
print("%s: Send finished job %s " % (self.channel, message['data']))
ret = r.publish(CHANNEL_RESULT, message['data'])
if ret == 0:
print("%s: Send finished job %s failed." % (self.channel, message['data']))
if __name__ == "__main__":
MySlave().start()
time.sleep(10000)

说明

MySlave类 - slave节点主程序,用来启动MyJobWorkerThread的线程

MyJobWorkerThread类 - 从channel里获取派发的作业并将运行结果发送回master

测试

首先运行MySlave来定义派发作业channel。

然后运行MyMaster派发作业并显示执行结果。

有关Python使用Redis实现作业调度系统(超简单),小编就给大家介绍这么多,希望对大家有所帮助!

Python 相关文章推荐
python打开网页和暂停实例
Sep 30 Python
Python import自定义模块方法
Feb 12 Python
基于wxpython开发的简单gui计算器实例
May 30 Python
Python实现Linux命令xxd -i功能
Mar 06 Python
深入理解Python中的内置常量
May 20 Python
Windows环境下python环境安装使用图文教程
Mar 13 Python
flask框架实现连接sqlite3数据库的方法分析
Jul 16 Python
python绘制多个子图的实例
Jul 07 Python
python名片管理系统开发
Jun 18 Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 Python
Python insert() / append() 用法 Leetcode实战演示
Mar 31 Python
Pyhton模块和包相关知识总结
May 12 Python
python编写简单爬虫资料汇总
Mar 22 #Python
使用Nginx+uWsgi实现Python的Django框架站点动静分离
Mar 21 #Python
Python中的条件判断语句与循环语句用法小结
Mar 21 #Python
举例讲解Python中的迭代器、生成器与列表解析用法
Mar 20 #Python
深入解析Python中函数的参数与作用域
Mar 20 #Python
总结Python编程中函数的使用要点
Mar 20 #Python
两个命令把 Vim 打造成 Python IDE的方法
Mar 20 #Python
You might like
MySQL相关说明
2007/01/15 PHP
一步一步学习PHP(3) php 函数
2010/02/15 PHP
ThinkPHP自动验证失败的解决方法
2011/06/09 PHP
php操作路径的经典方法(必看篇)
2016/10/04 PHP
Zend Framework入门教程之Zend_Db数据库操作详解
2016/12/08 PHP
js Math 对象的方法
2013/09/01 Javascript
js实现目录定位正文示例
2013/11/14 Javascript
Jquery操作js数组及对象示例代码
2014/05/11 Javascript
jquery实现鼠标滑过显示提示框的方法
2015/02/05 Javascript
JS控制静态页面之间传递参数获取参数并应用的简单实例
2016/08/10 Javascript
jquery pagination分页插件使用详解(后台struts2)
2017/01/22 Javascript
loading动画特效小结
2017/01/22 Javascript
BootStrap 导航条实例代码
2017/05/18 Javascript
NodeJS实现微信公众号关注后自动回复功能
2017/05/31 NodeJs
angular4模块中给标签添加背景图的实现方法
2017/09/15 Javascript
详解微信小程序-canvas绘制文字实现自动换行
2019/04/26 Javascript
使用express获取微信小程序二维码小记
2019/05/21 Javascript
js获取浏览器地址(获取第1个斜杠后的内容)
2019/09/03 Javascript
Javascript实现单选框效果
2020/12/09 Javascript
Python程序语言快速上手教程
2012/07/18 Python
python使用锁访问共享变量实例解析
2018/02/08 Python
python生成以及打开json、csv和txt文件的实例
2018/11/16 Python
对python opencv 添加文字 cv2.putText 的各参数介绍
2018/12/05 Python
python如何获取当前文件夹下所有文件名详解
2019/01/25 Python
python socket通信编程实现文件上传代码实例
2019/12/14 Python
浅谈对pytroch中torch.autograd.backward的思考
2019/12/27 Python
python中的socket实现ftp客户端和服务器收发文件及md5加密文件
2020/04/01 Python
Python读取二进制文件代码方法解析
2020/06/22 Python
python爬虫爬取某网站视频的示例代码
2021/02/20 Python
Crocs美国官方网站:卡骆驰洞洞鞋
2017/08/04 全球购物
Skechers越南官方网站:来自美国的运动休闲品牌
2021/02/22 全球购物
诺思信科技(南京)有限公司.NET笔试题答案
2013/07/06 面试题
骨干教师培训感言
2014/01/16 职场文书
2015年度内部审计工作总结
2015/05/20 职场文书
学习型家庭事迹材料(2016精选版)
2016/02/29 职场文书
react 路由Link配置详解
2021/11/11 Javascript