源码分析 Laravel 重复执行同一个队列任务的原因


Posted in PHP onDecember 25, 2017

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务,比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢?

源码分析 Laravel 重复执行同一个队列任务的原因

先说原因:

因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容,需要根据队列内容取出用户并遍历,通过请求后端 HTTP 接口发送。比如有 10000 个用户,在用户数量多或接口处理速度没那么快的情况下,执行时间肯定会大于 60 秒,于是这个任务就被重新加入队列。情况更糟糕一点,前面的任务如果都没有在 60 秒执行完,就都会重新加入队列,这样同一个任务就不止重复执行一次了,而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件:vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值,Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

取队列有几步操作,因为队列执行失败,或执行超时等都会放入另外的集合保存起来,以便重试,过程如下:

    1.把因执行失败的队列从 delayed 集合重新 rpush 到当前执行的队列中。

    2.把因执行超时的队列从 reserved 集合重新 rpush 到当前执行的队列中。

    3.然后才是从队列中取任务开始执行,同时把队列放入 reserved 的有序集合。

这里使用了 eval 命令执行这个过程,用到了几个 lua 脚本。

从要执行的队列中取任务:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

可以看到 Laravel 在取 Redis 要执行的队列的时候,同时会放一份到一个有序集合中,并使用过期时间戳作为分值。

只有当这个任务完成后,再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略,我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。

也就是这段 lua 脚本执行的操作:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

这里 zrangebyscore 找出分值从无限小到当前时间戳的元素,也就是 60 秒之前加入到集合的任务,然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。

看到这里应该就恍然大悟了。

如果一个队列 60 秒没执行完,那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
PHP系统流量分析的程序
Oct 09 PHP
PHP4实际应用经验篇(5)
Oct 09 PHP
PHP date函数参数详解
Nov 27 PHP
PHP操作文件方法问答
Mar 16 PHP
PHP下几种删除目录的方法总结
Aug 19 PHP
mac环境中使用brew安装php5.5.15
Aug 18 PHP
PHP与MYSQL中UTF8编码的中文排序实例
Oct 21 PHP
php中fsockopen用法实例
Jan 05 PHP
php类中的$this,static,final,const,self这几个关键字使用方法
Dec 14 PHP
Symfony2学习笔记之系统路由详解
Mar 17 PHP
既简单又安全的PHP验证码 附调用方法
Jun 02 PHP
PHP基于mssql扩展远程连接MSSQL的简单实现方法
Oct 08 PHP
浅析PHP中的闭包和匿名函数
Dec 25 #PHP
thinkphp5 加载静态资源路径与常量的方法
Dec 24 #PHP
PHP读取并输出XML文件数据的简单实现方法
Dec 22 #PHP
ajax+php实现无刷新验证手机号的实例
Dec 22 #PHP
Thinkphp5行为使用方法汇总
Dec 21 #PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
Dec 21 #PHP
Laravel 5.5基于内置的Auth模块实现前后台登陆详解
Dec 21 #PHP
You might like
PHP 登录完成后如何跳转上一访问页面
2014/01/14 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(十一)
2014/06/25 PHP
PHP连接sql server 2005环境配置及问题解决
2014/08/08 PHP
php提示Warning:mysql_fetch_array() expects的解决方法
2014/12/16 PHP
PHP pthreads v3在centos7平台下的安装与配置操作方法
2020/02/21 PHP
JavaScript在IE和Firefox(火狐)的不兼容问题解决方法小结
2010/04/13 Javascript
js中设置元素class的三种方法小结
2011/08/28 Javascript
动态加载JS文件的三种方法
2013/11/08 Javascript
原生JS可拖动弹窗效果实例代码
2013/11/09 Javascript
JS中类或对象的定义说明
2014/03/10 Javascript
javascript控制在光标位置插入文字适合表情的插入
2014/06/09 Javascript
jquery的clone方法应用于textarea和select的bug修复
2014/06/26 Javascript
返回顶部按钮响应滚动且动态显示与隐藏
2014/10/14 Javascript
JavaScript实现点击单选按钮改变输入框中文本域内容的方法
2015/08/12 Javascript
Angularjs 设置全局变量的方法总结
2016/10/20 Javascript
提高Node.js性能的应用技巧分享
2017/08/10 Javascript
Vue中的ref作用详解(实现DOM的联动操作)
2017/08/21 Javascript
JavaScript设计模式之调停者模式实例详解
2018/02/03 Javascript
如何阻止小程序遮罩层下方图层滚动
2019/09/05 Javascript
Vue的双向数据绑定实现原理解析
2020/02/17 Javascript
Python 字符串定义
2009/09/25 Python
python字典的常用操作方法小结
2016/05/16 Python
python实现简单淘宝秒杀功能
2018/05/03 Python
python实现对求解最长回文子串的动态规划算法
2018/06/02 Python
Python使用jsonpath-rw模块处理Json对象操作示例
2018/07/31 Python
Python实现压缩文件夹与解压缩zip文件的方法
2018/09/01 Python
python使用xlrd和xlwt读写Excel文件的实例代码
2018/09/05 Python
pygame实现打字游戏
2021/02/19 Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
2020/06/11 Python
Python -m参数原理及使用方法解析
2020/08/21 Python
介绍一下内联、左联、右联
2013/12/31 面试题
上海中网科技笔试题
2012/02/19 面试题
在职人员函授期间自我评价分享
2013/11/08 职场文书
查摆问题自查报告范文
2014/10/13 职场文书
刑事附带民事代理词
2015/05/25 职场文书
纪检干部学习心得体会
2016/01/23 职场文书