源码分析 Laravel 重复执行同一个队列任务的原因


Posted in PHP onDecember 25, 2017

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务,比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢?

源码分析 Laravel 重复执行同一个队列任务的原因

先说原因:

因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容,需要根据队列内容取出用户并遍历,通过请求后端 HTTP 接口发送。比如有 10000 个用户,在用户数量多或接口处理速度没那么快的情况下,执行时间肯定会大于 60 秒,于是这个任务就被重新加入队列。情况更糟糕一点,前面的任务如果都没有在 60 秒执行完,就都会重新加入队列,这样同一个任务就不止重复执行一次了,而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件:vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值,Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

取队列有几步操作,因为队列执行失败,或执行超时等都会放入另外的集合保存起来,以便重试,过程如下:

    1.把因执行失败的队列从 delayed 集合重新 rpush 到当前执行的队列中。

    2.把因执行超时的队列从 reserved 集合重新 rpush 到当前执行的队列中。

    3.然后才是从队列中取任务开始执行,同时把队列放入 reserved 的有序集合。

这里使用了 eval 命令执行这个过程,用到了几个 lua 脚本。

从要执行的队列中取任务:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

可以看到 Laravel 在取 Redis 要执行的队列的时候,同时会放一份到一个有序集合中,并使用过期时间戳作为分值。

只有当这个任务完成后,再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略,我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。

也就是这段 lua 脚本执行的操作:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

这里 zrangebyscore 找出分值从无限小到当前时间戳的元素,也就是 60 秒之前加入到集合的任务,然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。

看到这里应该就恍然大悟了。

如果一个队列 60 秒没执行完,那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
文章推荐系统(三)
Oct 09 PHP
初次接触php抽象工厂模式(Elgg)
Mar 21 PHP
php 过滤器实现代码
Aug 09 PHP
Sorting Array Values in PHP(数组排序)
Sep 15 PHP
PHP爆绝对路径方法收集整理
Sep 17 PHP
解析在PHP中使用mysqli扩展库对mysql的操作
Jul 03 PHP
简单实用的网站PHP缓存类实例
Jul 18 PHP
PHP计算近1年的所有月份
Mar 13 PHP
基于CI(CodeIgniter)框架实现购物车功能的方法
Apr 09 PHP
Discuz不使用插件实现简单的打赏功能
Mar 21 PHP
php装饰者模式简单应用案例分析
Oct 23 PHP
Yii使用EasyWechat实现小程序获取用户的openID的方法
Apr 29 PHP
浅析PHP中的闭包和匿名函数
Dec 25 #PHP
thinkphp5 加载静态资源路径与常量的方法
Dec 24 #PHP
PHP读取并输出XML文件数据的简单实现方法
Dec 22 #PHP
ajax+php实现无刷新验证手机号的实例
Dec 22 #PHP
Thinkphp5行为使用方法汇总
Dec 21 #PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
Dec 21 #PHP
Laravel 5.5基于内置的Auth模块实现前后台登陆详解
Dec 21 #PHP
You might like
开启CURL扩展,让服务器支持PHP curl函数(远程采集)
2011/03/19 PHP
PHP传值到不同页面的三种常见方式及php和html之间传值问题
2015/11/19 PHP
CodeIgniter分页类pagination使用方法示例
2016/03/28 PHP
JavaScript 计算当天是本年本月的第几周
2009/03/22 Javascript
nodejs中exports与module.exports的区别详细介绍
2013/01/14 NodeJs
jquery toolbar与网页浮动工具条具体实现代码
2014/01/12 Javascript
JQuery表格拖动调整列宽效果(自己动手写的)
2014/09/01 Javascript
详解JavaScript对W3C DOM模版的支持情况
2015/06/16 Javascript
JavaScript实现获得所有兄弟节点的方法
2015/07/23 Javascript
JS脚本实现动态给标签控件添加事件的方法
2016/06/02 Javascript
详解VueRouter进阶之导航钩子和路由元信息
2017/09/13 Javascript
Node.JS段点续传:Nginx配置文件分段下载功能的实现方法
2018/03/12 Javascript
JS实现方形抽奖效果
2018/08/27 Javascript
详解ES6 Fetch API HTTP请求实用指南
2018/11/14 Javascript
在微信小程序中保存网络图片
2019/02/12 Javascript
简单了解TypeScript中如何继承 Error 类
2019/06/21 Javascript
Nodejs 识别图片类型的方法
2019/08/15 NodeJs
vue实现跳转接口push 转场动画示例
2019/11/01 Javascript
vue vant中picker组件的使用
2020/11/03 Javascript
一篇文章快速了解Python的GIL
2018/01/12 Python
Python实现对一个函数应用多个装饰器的方法示例
2018/02/09 Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
2018/05/21 Python
浅谈PySpark SQL 相关知识介绍
2019/06/14 Python
PyQT5 实现快捷键复制表格数据的方法示例
2020/06/19 Python
CSS3之2D与3D变换的实现方法
2019/01/28 HTML / CSS
新西兰领先的内衣店:Bendon Lingerie新西兰
2018/07/11 全球购物
英国地毯卖家:The Rug Seller
2019/07/18 全球购物
科颜氏英国官网:Kiehl’s英国
2019/11/20 全球购物
2014年商场超市庆元旦活动方案
2014/02/14 职场文书
家教广告词
2014/03/19 职场文书
2014年监理工作总结范文
2014/11/17 职场文书
公司人力资源管理制度
2015/08/05 职场文书
2016年庆“七一”主题党日活动总结
2016/04/05 职场文书
Nginx + consul + upsync 完成动态负载均衡的方法详解
2021/03/31 Servers
python 如何在 Matplotlib 中绘制垂直线
2021/04/02 Python
MIME类型中application/xml与text/xml的区别介绍
2022/01/18 HTML / CSS