redis lua限流算法实现示例


Posted in Redis onJuly 15, 2022

限流算法

常见的限流算法

  • 计数器算法
  • 漏桶算法
  • 令牌桶算法

计数器算法

  顾名思义,计数器算法是指在一定的时间窗口内允许的固定数量的请求.比如,2s内允许10个请求,30s内允许100个请求等等.如果设置的时间粒度越细,那么相对而言限流就会越平滑,控制的粒度就会更细.

场景分析

试想,如果设置的粒度比较粗会出现什么样的问题呢?如下图设置一个 1000/3s 的限流计数统计.

redis lua限流算法实现示例

图中的限流策略为3s内允许的最大请求量为1000,那么会出现2个极端:
 

极端情况1:

  • 第1s请流量为10,  
  • 第2s请流量为10,  
  • 第3s请流量突然激增到980.这意味着在这一刻,有大量的请求蜂拥而至,假设服务每秒能处理的

上线为800/1s,但是此刻却有超过这个量级的请求量,那么后果是不堪设想的.

极端情况2:  

  • 第1s请流量突然就达到990,
  • 留给后续第2s,3s的可请求数量就非常少了,可能会出现大量的拒绝请求.

结论:

如果用统计计数算法,尽量保持粒度切割精细.

算法实现

redis的ttl特性完美的满足了这一需求,将时间窗口设置为key的失效时间,然后将key的值每次请求+1即可.伪代码实现思路:

//1.判断是否存在该key
if(EXIT(key)){
  // 1.1自增后判断是否大于最大值,并返回结果
  if(INCR(key) > maxPermit){
     return false;
  }
 return true;
}
//2.不存在key,则设置key初始值为1,失效时间为3秒
SET(KEY,1);
EXPIRE(KEY,3);

漏铜算法

漏桶算法核心概念:

  • 桶的容量是固定的,并且水流以一个固定的速率流出;
  • 流入的水流可以是任意速率;
  • 如果流入的水流超出了桶的容量,则后续流入的水流溢出(请求被丢弃)。
  • 如果桶内没有水,则不需要流出

redis lua限流算法实现示例

缺点:

不难想象漏桶算法并不能很好的应对突发的流量限制,在某一个时间段流量激增,则漏桶算法处理就比较无能为力.这个时候就需要用到和他相反设计的令牌桶算法

令牌桶算法:

redis lua限流算法实现示例

如上图所示,整个请求流程一目了然.简单概括如下:

1.用户请求资源时首选从桶里获取令牌,如果有令牌则放行,如此同时桶里的令牌数量-1

2.于此同时,以一定的速率往桶里加入令牌,这个速度是可根据实际场景随意设置.

算法实现

var key;
var maxPermit;//桶的容量,即最大请求限制
var expire;//失效时间
var bucketInterval;//每次向桶里添加令牌的时间间隔
var bucketNum;//每次向桶里添加令牌的个数
var lastTimeKey = key +"last";//标记上一次操作时间
//判断是否存在该key
if(EXIT(key)){
  var value = GET(key);
  var diffTime = now() - lastTimeKey;
  // 1.1判断是否超出时间间隔
  if(diffTime  > bucketInterval){
      // 1.2根据时间间隔,计算出应该向桶里添加令牌的个数
      local maxValue = value+math.floor(diff/interval)*step;
      if (maxValue > limit)
         value = limit;
      else
         value = maxValue;
     //设置key的值及操作时间
     SET(key,value);
     SET(lastTimeKey,now());     
  }
  // 2.1在时间间隔内,判断桶里是否有值
  if(value <= 0){
     reurn false;
  }else{
    // 2.2 减1
    DECR(key);
  }
reture true;
}
//2.不存在key,则设置key初始值为maxPermit-1
SET(key,maxPermit-1);
EXPIRE(lastTimeKey,now());

上面实现代码只是伪代码,提供的是一种思路而已. 仔细想来其中某个环节其实并不完美.大家可以参考Guava的ratelimit实现思路,他的限流就是基于令牌桶算法,但是比较遗憾的是在单机下的限流.

思考:  

就是时间间隔如果过长的话,一次性向桶里添加的令牌数量则是桶的最大容量!那么某个时间的瞬间请求过来,服务器的压力是非常大的.

所以此处增加令牌数可以设置的稍微合理些,哪怕间隔时间再长!

以上就是redis lua限流算法实现示例的详细内容,更多关于redis lua限流算法的资料请关注三水点靠木其它相关文章!


Tags in this post...

Redis 相关文章推荐
Redis安装启动及常见数据类型
Apr 14 Redis
详解RedisTemplate下Redis分布式锁引发的系列问题
Apr 27 Redis
浅谈Redis存储数据类型及存取值方法
May 08 Redis
Redis Cluster 字段模糊匹配及删除
May 27 Redis
Redis 哨兵集群的实现
Jun 18 Redis
解析Redis Cluster原理
Jun 21 Redis
Redis主从配置和底层实现原理解析(实战记录)
Jun 30 Redis
关于redisson缓存序列化几枚大坑说明
Aug 04 Redis
redis数据一致性的实现示例
Mar 18 Redis
Redis分布式锁的7种实现
Apr 01 Redis
利用Redis实现点赞功能的示例代码
Jun 28 Redis
Redis Lua脚本实现ip限流示例
Jul 15 #Redis
redis protocol通信协议及使用详解
Jul 15 #Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 #Redis
Redis唯一ID生成器的实现
Jul 07 #Redis
Redis+AOP+自定义注解实现限流
Jun 28 #Redis
利用Redis实现点赞功能的示例代码
Jun 28 #Redis
一文教你快速生成MySQL数据库关系图
Jun 28 #Redis
You might like
免费的ip数据库淘宝IP地址库简介和PHP调用实例
2014/04/08 PHP
javascript 写类方式之二
2009/07/05 Javascript
JavaScript 学习笔记(九)call和apply方法
2010/01/11 Javascript
JQueryEasyUI datagrid框架的进阶使用
2013/04/08 Javascript
js检测网络是否具体连接功能的代码
2014/05/23 Javascript
JavaScript运算符小结
2015/06/03 Javascript
浅谈window对象的scrollBy()方法
2015/07/15 Javascript
JavaScript 定时器 SetTimeout之定时刷新窗口和关闭窗口(代码超简单)
2016/02/26 Javascript
简单封装js的dom查询实例代码
2016/07/08 Javascript
Bootstrap Modal遮罩弹出层代码分享
2016/11/21 Javascript
原生js实现中奖信息无间隙滚动效果
2017/01/18 Javascript
React中jquery引用的实现方法
2017/09/12 jQuery
JS html事件冒泡和事件捕获操作示例
2019/05/01 Javascript
JavaScript装箱及拆箱boxing及unBoxing用法解析
2020/06/15 Javascript
[02:33]DOTA2英雄基础教程 司夜刺客
2013/12/04 DOTA
Python-基础-入门 简介
2014/08/09 Python
TF-IDF算法解析与Python实现方法详解
2017/11/16 Python
python合并同类型excel表格的方法
2018/04/01 Python
python 日志增量抓取实现方法
2018/04/28 Python
Python3使用pandas模块读写excel操作示例
2018/07/03 Python
python实现简单登陆系统
2018/10/18 Python
python数据化运营的重要意义
2019/11/25 Python
python线程join方法原理解析
2020/02/11 Python
总结Pyinstaller的坑及终极解决方法(小结)
2020/09/21 Python
Python 调用C++封装的进一步探索交流
2021/03/04 Python
CSS3制作文字半透明倒影效果的两种实现方式
2014/08/08 HTML / CSS
用HTML5 Canvas API中的clearRect()方法实现橡皮擦功能
2016/03/15 HTML / CSS
深入理解HTML的FormData对象
2016/05/17 HTML / CSS
C#笔试题
2015/07/14 面试题
教学大赛获奖感言
2014/01/15 职场文书
网上祭先烈心得体会
2014/09/01 职场文书
2014小学生国庆65周年演讲稿
2014/09/21 职场文书
2014年班务工作总结
2014/12/02 职场文书
小学数学教学随笔
2015/08/14 职场文书
党员廉政准则心得体会
2016/01/20 职场文书
如何撰写创业策划书
2019/06/27 职场文书