Django REST framework 限流功能的使用


Posted in Python onJune 24, 2021

正文开始

先说一个限流这个概念,最早接触这个概念是在前端。真实的业务场景是在搜索框中输入文字进行搜索时,并不希望每输一个字符都去调用后端接口,而是有停顿后才真正的调用接口。这个功能很有必要,一方面减少前端请求与渲染的压力,同时减轻后端接口访问的压力。类似前端的功能的代码如下:

// 前端函数限流示例
function throttle(fn, delay) {
    var timer;
    return function () {
        var _this = this;
        var args = arguments;
        if (timer) {
            return;
        }
        timer = setTimeout(function () {
            fn.apply(_this, args);
            timer = null;
        }, delay)
    }
}

但是后端的限流从目的上来说与前端类似,但是实现上会有所不同,让我们看看 DRF 的限流。

1. DRF 中的限流

项目配置

# demo/settings.py

REST_FRAMEWORK = {
    # ...
    'DEFAULT_THROTTLE_CLASSES': (
        'rest_framework.throttling.AnonRateThrottle',
        'rest_framework.throttling.UserRateThrottle',
         'rest_framework.throttling.ScopedRateThrottle',
    ),
    'DEFAULT_THROTTLE_RATES': {
        'anon': '10/day',
        'user': '2/day'
    },
}

# article/views.py

# 基于ViewSet的限流
class ArticleViewSet(viewsets.ModelViewSet, ExceptionMixin):
    """
    允许用户查看或编辑的API路径。
    """
    queryset = Article.objects.all()
    # 使用默认的用户限流
    throttle_classes = (UserRateThrottle,)
    serializer_class = ArticleSerializer

# 基于view的限流
@throttle_classes([UserRateThrottle])

因为我配置的用户每天只能请求两次,所以在请求第三次之后就会给出 429 Too Many Requests的异常,具体的异常信息为下一次可用时间为 86398 秒后。

2. 限流进阶配置

上述演示的限流配置适用于对用户的限流,比如我换个用户继续访问,依然是有两次的机会。

$ curl -H 'Accept: application/json; indent=4' -u root:root   http://127.0.0.1:8000/api/article/1/ 
{
    "id": 1,
    "creator": "admin",
    "tag": "现代诗",
    "title": "如果",
    "content": "今生今世 永不再将你想起\n除了\n除了在有些个\n因落泪而湿润的夜里 如果\n如果你愿意"
}

分别介绍一下三种限流类

  • AnonRateThrottle 适用于任何用户对接口访问的限制
  • UserRateThrottle 适用于请求认证结束后对接口访问的限制
  • ScopedRateThrottle 适用于对多个接口访问的限制

所以三种不同的类适用于不同的业务场景,具体使用根据不同的业务场景选择,通过配置相对应 scope 的频率的配置就可以达到预期的效果。

3. 限流思路分析

试想一下如果是你编码实现这个需求应该怎么实现?

其实这个功能不难,核心的参数就是 时间、次数、使用范围,下面演示对函数调用次数的限制。

from functools import wraps

TOTAL_RATE = 2

FUNC_SCOPE = ['test', 'test1']


def rate_count(func):
    func_num = {
        # 需要注意函数名不能重复
        func.__name__: 0
    }

    @wraps(func)
    def wrapper():
        if func.__name__ in FUNC_SCOPE:
            if func_num[func.__name__] >= TOTAL_RATE:
                raise Exception(f"{func.__name__}函数调用超过设定次数")
            result = func()
            func_num[func.__name__] += 1
            print(f" 函数 {func.__name__} 调用次数为: {func_num[func.__name__]}")
            return result
        else:
            # 不在计数限制的函数不受限制
            return func()

    return wrapper


@rate_count
def test1():
    pass


@rate_count
def test2():
    print("test2")
    pass


if __name__ == "__main__":
    try:
        test2()
        test2()
        test1()
        test1()
        test1()
    except Exception as e:
        print(e)
    test2()
    test2()
    
"""
test2
test2
 函数 test1 调用次数为: 1
 函数 test1 调用次数为: 2
test1函数调用超过设定次数
test2
test2
"""

这里实现了对函数调用次数的监控同时设置了能够使用该功能的函数。当函数调用次数超过设定阀值久抛出异常。只是这里没有对时间做限制。

4. 源码分析

刚才分析了如何实现对函数调用次数的限制,对于一个请求来说可能会复杂一点,下面就看看 DRF 如何实现的:

class SimpleRateThrottle(BaseThrottle):
   
    # ......
    
    def allow_request(self, request, view):
        """
        Implement the check to see if the request should be throttled.

        On success calls `throttle_success`.
        On failure calls `throttle_failure`.
        """
        if self.rate is None:
            return True

        self.key = self.get_cache_key(request, view)
        if self.key is None:
            return True

        self.history = self.cache.get(self.key, [])
        self.now = self.timer()

        # 根据设置时间的限制改变请求次数的缓存
        while self.history and self.history[-1] <= self.now - self.duration:
            self.history.pop()
        # 核心逻辑就是这里判断请求次数
        if len(self.history) >= self.num_requests:
            return self.throttle_failure()
        return self.throttle_success()
    
    # ......
    
class UserRateThrottle(SimpleRateThrottle):
    """
    Limits the rate of API calls that may be made by a given user.

    The user id will be used as a unique cache key if the user is
    authenticated.  For anonymous requests, the IP address of the request will
    be used.
    """
    scope = 'user'

    def get_cache_key(self, request, view):
        if request.user.is_authenticated:
            ident = request.user.pk
        else:
            # 考虑到用户没有认证的情况 与 AnonRateThrottle 中 key 一致
            ident = self.get_ident(request)
        # 根据设置的范围构建缓存的 key
        return self.cache_format % {
            'scope': self.scope,
            'ident': ident
        }

综上所述:

  • 核心的判断逻辑依旧是缓存中获取每个用户调用次数,根据范围与时间判断是否超过设置定的阀值。
  • 不同类型的限流,在缓存 key 的设计上会有区别,默认的 key 为请求中REMOTE_ADDR。

5. 其它注意事项

  • 因为这里的实现用到缓存,所以需要注意在多实例部署的情况下需要配置统一的缓存服务(默认的缓存为 Django 基于内存实现的)。
  • 缓存服务的重启可能会导致已有的计数清零,如果有较强的业务逻辑需要,还请自己实现限流的逻辑。
  • 如果是自定义的用户表,需要重写缓存中 get_cache_key 的逻辑。
  • 如果需要统计分析用户被限流情况也是需要重新设计限流的逻辑。
  • 限流的逻辑在生产环境中慎用,因为会限制用户使用产品,对用户不够友好。

参考资料

DRF 限流
Django 缓存

以上就是Django REST framework 限流功能的使用的详细内容,更多关于Django REST framework 限流功能的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
使用python搭建Django应用程序步骤及版本冲突问题解决
Nov 19 Python
Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
May 22 Python
python自带的http模块详解
Nov 06 Python
浅析Python中return和finally共同挖的坑
Aug 18 Python
Python实现的简单读写csv文件操作示例
Jul 12 Python
python单例模式获取IP代理的方法详解
Sep 13 Python
Django框架模板注入操作示例【变量传递到模板】
Dec 19 Python
10分钟用python搭建一个超好用的CMDB系统
Jul 17 Python
python装饰器三种装饰模式的简单分析
Sep 04 Python
通过代码实例了解Python sys模块
Sep 14 Python
OpenCV读取与写入图片的实现
Oct 13 Python
python爬取某网站原图作为壁纸
Jun 02 Python
Python 发送SMTP邮件的简单教程
Python开发工具Pycharm的安装以及使用步骤总结
Python语言规范之Pylint的详细用法
Python基础教程,Python入门教程(超详细)
Jun 24 #Python
Django Paginator分页器的使用示例
python随机打印成绩排名表
教你怎么用Python selenium操作浏览器对象的基础API
Jun 23 #Python
You might like
一个简单的php实现的MySQL数据浏览器
2007/03/11 PHP
PHP表单验证的3个函数ISSET()、empty()、is_numeric()的使用方法
2011/08/22 PHP
php include和require的区别深入解析
2013/06/17 PHP
ThinkPHP之M方法实例详解
2014/06/20 PHP
php的GD库imagettftext函数解决中文乱码问题
2015/01/24 PHP
PHP实现上传文件并存进数据库的方法
2015/07/16 PHP
Yii框架引入coreseek分页功能示例
2019/02/08 PHP
Webkit的跨域安全问题说明
2011/09/13 Javascript
js中根据字数截取字符串,不能截断url
2012/01/12 Javascript
NodeJs中的非阻塞方法介绍
2012/06/05 NodeJs
jQuery实现图片信息的浮动显示实例代码
2013/08/28 Javascript
jQuery Validate插件实现表单强大的验证功能
2015/12/18 Javascript
Jsonp 关键字详解及json和jsonp的区别,ajax和jsonp的区别
2015/12/30 Javascript
Bootstrap modal使用及点击外部不消失的解决方法
2016/12/13 Javascript
Bootstrap导航条的使用和理解3
2016/12/14 Javascript
详解使用vue脚手架工具搭建vue-webpack项目
2017/05/10 Javascript
input type=file 选择图片并且实现预览效果的实例
2017/10/26 Javascript
微信小程序实现左滑动删除效果
2020/03/30 Javascript
vue中v-model对select的绑定操作
2020/08/31 Javascript
[01:08:17]2018DOTA2亚洲邀请赛3月29日 小组赛B组 EG VS VGJ.T
2018/03/30 DOTA
[50:27]Secret vs VG 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/20 DOTA
Python中的数学运算操作符使用进阶
2016/06/20 Python
Python 出现错误TypeError: ‘NoneType’ object is not iterable解决办法
2017/01/12 Python
Python3.4实现远程控制电脑开关机
2018/02/22 Python
Python字符串hashlib加密模块使用案例
2020/03/10 Python
pycharm部署、配置anaconda环境的教程
2020/03/24 Python
Python-jenkins模块获取jobs的执行状态操作
2020/05/12 Python
女子锻炼服装和瑜伽服装:Splits59
2019/03/04 全球购物
linux面试相关问题
2013/04/28 面试题
测试驱动开发的主要步骤是什么
2014/12/10 面试题
食堂个人先进事迹
2014/01/22 职场文书
人民教师求职自荐信
2014/03/12 职场文书
主持词开场白
2014/03/17 职场文书
会计师事务所实习证明
2014/11/16 职场文书
Pycharm连接远程服务器并远程调试的全过程
2021/06/24 Python
python保存图片的四个常用方法
2022/02/28 Python