redis lua限流算法实现示例


Posted in Redis onJuly 15, 2022

限流算法

常见的限流算法

  • 计数器算法
  • 漏桶算法
  • 令牌桶算法

计数器算法

  顾名思义,计数器算法是指在一定的时间窗口内允许的固定数量的请求.比如,2s内允许10个请求,30s内允许100个请求等等.如果设置的时间粒度越细,那么相对而言限流就会越平滑,控制的粒度就会更细.

场景分析

试想,如果设置的粒度比较粗会出现什么样的问题呢?如下图设置一个 1000/3s 的限流计数统计.

redis lua限流算法实现示例

图中的限流策略为3s内允许的最大请求量为1000,那么会出现2个极端:
 

极端情况1:

  • 第1s请流量为10,  
  • 第2s请流量为10,  
  • 第3s请流量突然激增到980.这意味着在这一刻,有大量的请求蜂拥而至,假设服务每秒能处理的

上线为800/1s,但是此刻却有超过这个量级的请求量,那么后果是不堪设想的.

极端情况2:  

  • 第1s请流量突然就达到990,
  • 留给后续第2s,3s的可请求数量就非常少了,可能会出现大量的拒绝请求.

结论:

如果用统计计数算法,尽量保持粒度切割精细.

算法实现

redis的ttl特性完美的满足了这一需求,将时间窗口设置为key的失效时间,然后将key的值每次请求+1即可.伪代码实现思路:

//1.判断是否存在该key
if(EXIT(key)){
  // 1.1自增后判断是否大于最大值,并返回结果
  if(INCR(key) > maxPermit){
     return false;
  }
 return true;
}
//2.不存在key,则设置key初始值为1,失效时间为3秒
SET(KEY,1);
EXPIRE(KEY,3);

漏铜算法

漏桶算法核心概念:

  • 桶的容量是固定的,并且水流以一个固定的速率流出;
  • 流入的水流可以是任意速率;
  • 如果流入的水流超出了桶的容量,则后续流入的水流溢出(请求被丢弃)。
  • 如果桶内没有水,则不需要流出

redis lua限流算法实现示例

缺点:

不难想象漏桶算法并不能很好的应对突发的流量限制,在某一个时间段流量激增,则漏桶算法处理就比较无能为力.这个时候就需要用到和他相反设计的令牌桶算法

令牌桶算法:

redis lua限流算法实现示例

如上图所示,整个请求流程一目了然.简单概括如下:

1.用户请求资源时首选从桶里获取令牌,如果有令牌则放行,如此同时桶里的令牌数量-1

2.于此同时,以一定的速率往桶里加入令牌,这个速度是可根据实际场景随意设置.

算法实现

var key;
var maxPermit;//桶的容量,即最大请求限制
var expire;//失效时间
var bucketInterval;//每次向桶里添加令牌的时间间隔
var bucketNum;//每次向桶里添加令牌的个数
var lastTimeKey = key +"last";//标记上一次操作时间
//判断是否存在该key
if(EXIT(key)){
  var value = GET(key);
  var diffTime = now() - lastTimeKey;
  // 1.1判断是否超出时间间隔
  if(diffTime  > bucketInterval){
      // 1.2根据时间间隔,计算出应该向桶里添加令牌的个数
      local maxValue = value+math.floor(diff/interval)*step;
      if (maxValue > limit)
         value = limit;
      else
         value = maxValue;
     //设置key的值及操作时间
     SET(key,value);
     SET(lastTimeKey,now());     
  }
  // 2.1在时间间隔内,判断桶里是否有值
  if(value <= 0){
     reurn false;
  }else{
    // 2.2 减1
    DECR(key);
  }
reture true;
}
//2.不存在key,则设置key初始值为maxPermit-1
SET(key,maxPermit-1);
EXPIRE(lastTimeKey,now());

上面实现代码只是伪代码,提供的是一种思路而已. 仔细想来其中某个环节其实并不完美.大家可以参考Guava的ratelimit实现思路,他的限流就是基于令牌桶算法,但是比较遗憾的是在单机下的限流.

思考:  

就是时间间隔如果过长的话,一次性向桶里添加的令牌数量则是桶的最大容量!那么某个时间的瞬间请求过来,服务器的压力是非常大的.

所以此处增加令牌数可以设置的稍微合理些,哪怕间隔时间再长!

以上就是redis lua限流算法实现示例的详细内容,更多关于redis lua限流算法的资料请关注三水点靠木其它相关文章!


Tags in this post...

Redis 相关文章推荐
浅谈Redis在直播场景的实践方案
Apr 27 Redis
Redis延迟队列和分布式延迟队列的简答实现
May 13 Redis
redis哨兵常用命令和监控示例详解
May 27 Redis
Redis源码阅读:Redis字符串SDS详解
Jul 15 Redis
使用redis生成唯一编号及原理示例详解
Sep 15 Redis
Redis之RedisTemplate配置方式(序列和反序列化)
Mar 13 Redis
解决redis批量删除key值的问题
Mar 23 Redis
基于Redis6.2.6版本部署Redis Cluster集群的问题
Apr 01 Redis
详解Redis的三种常用的缓存读写策略步骤
May 06 Redis
Redis特殊数据类型HyperLogLog基数统计算法讲解
Jun 01 Redis
Redis keys命令的具体使用
Jun 05 Redis
关于Redis的主从复制及哨兵问题
Jun 16 Redis
Redis Lua脚本实现ip限流示例
Jul 15 #Redis
redis protocol通信协议及使用详解
Jul 15 #Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 #Redis
Redis唯一ID生成器的实现
Jul 07 #Redis
Redis+AOP+自定义注解实现限流
Jun 28 #Redis
利用Redis实现点赞功能的示例代码
Jun 28 #Redis
一文教你快速生成MySQL数据库关系图
Jun 28 #Redis
You might like
遍历指定目录下的所有目录和文件的php代码
2011/11/27 PHP
PHP5常用函数列表(分享)
2013/06/07 PHP
php中session与cookie的比较
2015/01/27 PHP
PHP FileSystem 文件系统常用api整理总结
2019/07/12 PHP
PHP $O00OO0=urldecode &amp; eval 解密,记一次商业源码的去后门
2020/09/13 PHP
使用新的消息弹出框blackbirdjs
2008/10/16 Javascript
Dom 是什么的详细说明
2010/10/25 Javascript
js语法学习之判断一个对象是否为数组
2014/05/13 Javascript
JavaScript不使用prototype和new实现继承机制
2014/12/29 Javascript
JS模拟键盘打字效果的方法
2015/08/05 Javascript
jQuery解析json数据实例分析
2015/11/24 Javascript
jQuery实现可拖拽3D万花筒旋转特效
2017/01/03 Javascript
jQuery validate 验证radio实例
2017/03/01 Javascript
纯JS实现只能输入数字的简单代码
2017/06/21 Javascript
Vue+webpack+Element 兼容问题总结(小结)
2018/08/16 Javascript
Canvas实现微信红包照片效果
2018/08/21 Javascript
vue请求服务器数据后绑定不上的解决方法
2019/10/30 Javascript
jQuery是用来干什么的 jquery其实就是一个js框架
2021/02/04 jQuery
Django中对数据查询结果进行排序的方法
2015/07/17 Python
python 删除非空文件夹的实例
2018/04/26 Python
Python3 SSH远程连接服务器的方法示例
2018/12/29 Python
如何利用Python分析出微信朋友男女统计图
2019/01/25 Python
Python中一般处理中文的几种方法
2019/03/06 Python
详解python调用cmd命令三种方法
2019/07/08 Python
Python定义函数时参数有默认值问题解决
2019/12/19 Python
python GUI库图形界面开发之PyQt5信号与槽基本操作
2020/02/25 Python
解决Opencv+Python cv2.imshow闪退问题
2020/04/24 Python
Python 创建守护进程的示例
2020/09/29 Python
HTML5+CSS3 诱人的实例:3D立方体旋转动画实例
2016/12/30 HTML / CSS
化学相关工作求职信
2013/10/02 职场文书
高三自我鉴定范文
2013/10/19 职场文书
会计专业应届生求职信
2013/11/24 职场文书
公司业务员岗位职责
2014/03/18 职场文书
车辆工程专业求职信
2014/04/28 职场文书
学校教师安全责任书
2014/07/23 职场文书
基于PyTorch实现一个简单的CNN图像分类器
2021/05/29 Python