redis lua限流算法实现示例


Posted in Redis onJuly 15, 2022

限流算法

常见的限流算法

  • 计数器算法
  • 漏桶算法
  • 令牌桶算法

计数器算法

  顾名思义,计数器算法是指在一定的时间窗口内允许的固定数量的请求.比如,2s内允许10个请求,30s内允许100个请求等等.如果设置的时间粒度越细,那么相对而言限流就会越平滑,控制的粒度就会更细.

场景分析

试想,如果设置的粒度比较粗会出现什么样的问题呢?如下图设置一个 1000/3s 的限流计数统计.

redis lua限流算法实现示例

图中的限流策略为3s内允许的最大请求量为1000,那么会出现2个极端:
 

极端情况1:

  • 第1s请流量为10,  
  • 第2s请流量为10,  
  • 第3s请流量突然激增到980.这意味着在这一刻,有大量的请求蜂拥而至,假设服务每秒能处理的

上线为800/1s,但是此刻却有超过这个量级的请求量,那么后果是不堪设想的.

极端情况2:  

  • 第1s请流量突然就达到990,
  • 留给后续第2s,3s的可请求数量就非常少了,可能会出现大量的拒绝请求.

结论:

如果用统计计数算法,尽量保持粒度切割精细.

算法实现

redis的ttl特性完美的满足了这一需求,将时间窗口设置为key的失效时间,然后将key的值每次请求+1即可.伪代码实现思路:

//1.判断是否存在该key
if(EXIT(key)){
  // 1.1自增后判断是否大于最大值,并返回结果
  if(INCR(key) > maxPermit){
     return false;
  }
 return true;
}
//2.不存在key,则设置key初始值为1,失效时间为3秒
SET(KEY,1);
EXPIRE(KEY,3);

漏铜算法

漏桶算法核心概念:

  • 桶的容量是固定的,并且水流以一个固定的速率流出;
  • 流入的水流可以是任意速率;
  • 如果流入的水流超出了桶的容量,则后续流入的水流溢出(请求被丢弃)。
  • 如果桶内没有水,则不需要流出

redis lua限流算法实现示例

缺点:

不难想象漏桶算法并不能很好的应对突发的流量限制,在某一个时间段流量激增,则漏桶算法处理就比较无能为力.这个时候就需要用到和他相反设计的令牌桶算法

令牌桶算法:

redis lua限流算法实现示例

如上图所示,整个请求流程一目了然.简单概括如下:

1.用户请求资源时首选从桶里获取令牌,如果有令牌则放行,如此同时桶里的令牌数量-1

2.于此同时,以一定的速率往桶里加入令牌,这个速度是可根据实际场景随意设置.

算法实现

var key;
var maxPermit;//桶的容量,即最大请求限制
var expire;//失效时间
var bucketInterval;//每次向桶里添加令牌的时间间隔
var bucketNum;//每次向桶里添加令牌的个数
var lastTimeKey = key +"last";//标记上一次操作时间
//判断是否存在该key
if(EXIT(key)){
  var value = GET(key);
  var diffTime = now() - lastTimeKey;
  // 1.1判断是否超出时间间隔
  if(diffTime  > bucketInterval){
      // 1.2根据时间间隔,计算出应该向桶里添加令牌的个数
      local maxValue = value+math.floor(diff/interval)*step;
      if (maxValue > limit)
         value = limit;
      else
         value = maxValue;
     //设置key的值及操作时间
     SET(key,value);
     SET(lastTimeKey,now());     
  }
  // 2.1在时间间隔内,判断桶里是否有值
  if(value <= 0){
     reurn false;
  }else{
    // 2.2 减1
    DECR(key);
  }
reture true;
}
//2.不存在key,则设置key初始值为maxPermit-1
SET(key,maxPermit-1);
EXPIRE(lastTimeKey,now());

上面实现代码只是伪代码,提供的是一种思路而已. 仔细想来其中某个环节其实并不完美.大家可以参考Guava的ratelimit实现思路,他的限流就是基于令牌桶算法,但是比较遗憾的是在单机下的限流.

思考:  

就是时间间隔如果过长的话,一次性向桶里添加的令牌数量则是桶的最大容量!那么某个时间的瞬间请求过来,服务器的压力是非常大的.

所以此处增加令牌数可以设置的稍微合理些,哪怕间隔时间再长!

以上就是redis lua限流算法实现示例的详细内容,更多关于redis lua限流算法的资料请关注三水点靠木其它相关文章!


Tags in this post...

Redis 相关文章推荐
浅谈redis五大数据结构和使用场景
Apr 12 Redis
基于Redis实现分布式锁的方法(lua脚本版)
May 12 Redis
了解Redis常见应用场景
Jun 23 Redis
redis使用不当导致应用卡死bug的过程解析
Jul 01 Redis
在redisCluster中模糊获取key方式
Jul 09 Redis
Redis之RedisTemplate配置方式(序列和反序列化)
Mar 13 Redis
Redis高可用集群redis-cluster详解
Mar 20 Redis
Grafana可视化监控系统结合SpringBoot使用
Apr 19 Redis
解决 redis 无法远程连接
May 15 Redis
Redis基本数据类型哈希Hash常用操作命令
Jun 01 Redis
关于Redis的主从复制及哨兵问题
Jun 16 Redis
python中使用redis用法详解
Dec 24 Redis
Redis Lua脚本实现ip限流示例
Jul 15 #Redis
redis protocol通信协议及使用详解
Jul 15 #Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 #Redis
Redis唯一ID生成器的实现
Jul 07 #Redis
Redis+AOP+自定义注解实现限流
Jun 28 #Redis
利用Redis实现点赞功能的示例代码
Jun 28 #Redis
一文教你快速生成MySQL数据库关系图
Jun 28 #Redis
You might like
防止MySQL注入或HTML表单滥用的PHP程序
2009/01/21 PHP
PHP is_dir() 判断给定文件名是否是一个目录
2010/05/10 PHP
IIS安装Apache伪静态插件的具体操作图文
2013/07/01 PHP
php 伪静态之IIS篇
2014/06/02 PHP
详解EventDispatcher事件分发组件
2016/12/25 PHP
PHP使用DOM和simplexml读取xml文档的方法示例
2017/02/08 PHP
作为PHP程序员你要知道的另外一种日志
2018/07/30 PHP
js下弹出窗口的变通
2007/04/18 Javascript
js类中获取外部函数名的方法与代码
2007/09/12 Javascript
JavaScript 变量作用域分析
2011/07/04 Javascript
浅谈javascript对象模型和function对象
2014/12/26 Javascript
微信小程序 action-sheet 反馈上拉菜单简单实例
2017/05/11 Javascript
Vue中建立全局引用或者全局命令的方法
2017/08/21 Javascript
vue2.0 下拉框默认标题设置方法
2018/08/22 Javascript
深入理解移动前端开发之viewport
2018/10/19 Javascript
JavaScript实现随机点名器实例详解
2019/05/07 Javascript
微信小程序报错: thirdScriptError的错误问题
2020/06/19 Javascript
[01:43]倾听DOTA2英雄之声 魅惑魔女国服配音鉴赏
2013/06/06 DOTA
Python读取网页内容的方法
2015/07/30 Python
基于python框架Scrapy爬取自己的博客内容过程详解
2019/08/05 Python
手写一个python迭代器过程详解
2019/08/27 Python
Python sublime安装及配置过程详解
2020/06/29 Python
Python requests模块安装及使用教程图解
2020/06/30 Python
Python如何读取、写入JSON数据
2020/07/28 Python
python切割图片的示例
2020/11/12 Python
旧时光糖果:Old Time Candy
2018/02/05 全球购物
Ibatis的核心配置文件都有什么
2014/09/08 面试题
机电专业体育教师求职信
2013/09/21 职场文书
大学校园毕业自我鉴定
2014/01/15 职场文书
公司保密承诺书
2014/03/27 职场文书
《白鹅》教学反思
2014/04/13 职场文书
小学生我的梦想演讲稿
2014/08/21 职场文书
干货:如何写好工作总结报告!
2019/05/10 职场文书
Nginx+Tomcat实现负载均衡、动静分离的原理解析
2021/03/31 Servers
对PyTorch中inplace字段的全面理解
2021/05/22 Python
Vue图片裁剪组件实例代码
2021/07/02 Vue.js