详解一种用django_cache实现分布式锁的方式


Posted in Python onSeptember 01, 2019

问题背景

在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱。

在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能。

资料查找

基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种:

第一种锁命令INCR

这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一。 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中。

第二种锁命令SETNX

这种加锁的思路是,如果 key 不存在,将 key 设置为 value 如果 key 已存在,则 SETNX 不做任何动作

第三种锁命令SET

上面两种方法都有一个问题,会发现,都需要设置 key 过期。那么为什么要设置key过期呢?如果请求执行因为某些原因意外退出了,导致创建了锁但是没有删除锁,那么这个锁将一直存在,以至于以后缓存再也得不到更新。于是乎我们需要给锁加一个过期时间以防不测。

在实际编写中,我综合了第二种和第三种方式,即用键名来设置锁,同时设置了过期时间,以防长时间占用。

另外,关于如何使用django-cache去使用数据库缓存,相关的API整理如下:

from django.core.cache import caches
# 设置锁和超时时间
cache.set('my_key', 'Initial value', 60)
# 获取锁
cache.get('my_key')
# 更新锁
cache.add('add_key', 'New value')

代码编写

在经过多次的迭代,并且对比了网上的各路写法后,我结合django-cache的特性,最终总结了一套较为简洁的写法。

首先是一个CacheLock的类,初始化方法里可以传执行超时时间,和拿锁等待的时间。CacheLock类的主要方法有两个,一个是拿锁的方法,一个是释放锁的方法。

拿锁的方法中,键名根据操作的具体对象来定,键值为uuid值,超时时间默认为60s。一旦发现能拿到锁,则返回uuid值。

释放锁的方法中,首先比较键值和uuid值是否一致,一致则释放,避免因超时情况导致把其他的正在操作的锁给释放掉。

class CacheLock(object):
 def __init__(self, expires=60, wait_timeout=0):
 self.cache = cache
 self.expires = expires # 函数执行超时时间
 self.wait_timeout = wait_timeout # 拿锁等待超时时间

 def get_lock(self, lock_key):
 # 获取cache锁
 wait_timeout = self.wait_timeout
 identifier = uuid.uuid4()
 while wait_timeout >= 0:
  if self.cache.add(lock_key, identifier, self.expires):
  return identifier
  wait_timeout -= 1
  time.sleep(1)
 raise LockTimeout({'msg': '当前有其他用户正在编辑该采集配置,请稍后重试'})

 def release_lock(self, lock_key, identifier):
 # 释放cache锁
 lock_value = self.cache.get(lock_key)
 if lock_value == identifier:
  self.cache.delete(lock_key)

另外,将缓存锁写成一个装饰器,对需要加锁的地方,添加上该装饰器,则可以很轻松地实现锁功能。

def lock(cache_lock):
 def my_decorator(func):
 def wrapper(*args, **kwargs):
  lock_key = 'bk_monitor:lock:xxx' # 具体的lock_key要根据调用时传的参数而定
  identifier = cache_lock.get_lock(lock_key)
  try:
  return func(*args, **kwargs)
  finally:
  cache_lock.release_lock(lock_key, identifier)
 return wrapper
 return my_decorator

再举一个实际调用中的例子:

@lock(CacheLock())
def f():
 pass

另外,我在设置缓存的key名的时候,会根据函数的具体操作对象,从而给装饰器传递相应的参数,这里就不再举例了。

优化改进

当然,实现以上功能需求一定还有别的更好的方式,关于锁的实现,网络上有很多别的方式,比如基于zookeeper实现分布式锁、基于数据库实现分布式锁等等,它们在可靠性或性能方面都各有长短,要根据具体场景进行取舍,所以还有非常多值得研究的地方。

我这里也只是抛砖引玉,欢迎拍砖~

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
介绍Python的Django框架中的静态资源管理器django-pipeline
Apr 25 Python
好用的Python编辑器WingIDE的使用经验总结
Aug 31 Python
Python实现查找匹配项作处理后再替换回去的方法
Jun 10 Python
Python基础教程之利用期物处理并发
Mar 29 Python
python3 xpath和requests应用详解
Mar 06 Python
详解使用python3.7配置开发钉钉群自定义机器人(2020年新版攻略)
Apr 01 Python
matplotlib 对坐标的控制,加图例注释的操作
Apr 17 Python
django 模版关闭转义方式
May 14 Python
python如何实现图片压缩
Sep 11 Python
python爬虫用scrapy获取影片的实例分析
Nov 23 Python
python实现发送邮件
Mar 02 Python
Python3中PyQt5简单实现文件打开及保存
Jun 10 Python
python实现多进程通信实例分析
Sep 01 #Python
python输出带颜色字体实例方法
Sep 01 #Python
基于Django框架的权限组件rbac实例讲解
Aug 31 #Python
Django之PopUp的具体实现方法
Aug 31 #Python
对django layer弹窗组件的使用详解
Aug 31 #Python
python2.7实现复制大量文件及文件夹资料
Aug 31 #Python
python3实现高效的端口扫描
Aug 31 #Python
You might like
php getimagesize 上传图片的长度和宽度检测代码
2010/05/15 PHP
php使用json_encode对变量json编码
2014/04/07 PHP
Linux下从零开始安装配置Nginx服务器+PHP开发环境
2015/12/21 PHP
PHP实现redis限制单ip、单用户的访问次数功能示例
2018/06/16 PHP
针对thinkPHP5框架存储过程bug重写的存储过程扩展类完整实例
2018/06/16 PHP
laravel框架使用阿里云短信发送消息操作示例
2020/02/15 PHP
THREE.JS入门教程(1)THREE.JS使用前了解
2013/01/24 Javascript
使用js+jquery实现无限极联动
2013/05/23 Javascript
jQuery实现类似淘宝购物车全选状态示例
2013/06/26 Javascript
jquery实现网页查找功能示例分享
2014/02/12 Javascript
运用jQuery定时器的原理实现banner图片切换
2014/10/22 Javascript
jQuery中parents()和parent()的区别分析
2014/10/28 Javascript
js智能获取浏览器版本UA信息的方法
2016/08/08 Javascript
javascript判断元素存在和判断元素存在于实时的dom中的方法
2017/01/17 Javascript
vue返回上一页面时回到原先滚动的位置的方法
2018/12/20 Javascript
JavaScript中的连续赋值问题实例分析
2019/07/12 Javascript
详解mpvue实现对苹果X安全区域的适配
2019/07/31 Javascript
如何阻止小程序遮罩层下方图层滚动
2019/09/05 Javascript
jQuery实现动态向上滚动
2020/12/21 jQuery
Python利用pyHook实现监听用户鼠标与键盘事件
2014/08/21 Python
Python手机号码归属地查询代码
2016/05/04 Python
Python存取XML的常见方法实例分析
2017/03/21 Python
Python3.5装饰器原理及应用实例详解
2019/04/30 Python
python连接PostgreSQL数据库的过程详解
2019/09/18 Python
浅析Python+OpenCV使用摄像头追踪人脸面部血液变化实现脉搏评估
2019/10/17 Python
Python遍历字典方式就实例详解
2019/12/28 Python
英国历史最悠久的DJ设备供应商:DJ Finance、DJ Warehouse、The DJ Shop
2019/09/04 全球购物
linux面试题参考答案(7)
2014/07/24 面试题
公司前台辞职报告
2014/01/19 职场文书
《孔子游春》教学反思
2014/02/25 职场文书
学生党员公开承诺书
2014/05/28 职场文书
公司采购主管岗位职责
2014/06/17 职场文书
个人求职信格式范文
2015/03/20 职场文书
学雷锋献爱心活动总结
2015/05/11 职场文书
高质量“欢迎词”
2019/04/03 职场文书
你会写请假条吗?
2019/06/26 职场文书