记录一次排查PHP脚本执行卡住的问题


Posted in PHP onDecember 27, 2016

发现问题

最近忽然从监控中发现,我们一个服务的一台机器负载比同机房的其他机器要高,而流入流出流量没有差别,进一步查看发现每个机房都有一台机器存在相同的现象,梳理后发现有问题的这些机器相比正常的机器多跑了一些PHP脚本,于是猜测是执行脚本出问题导致。

解决问题

登录机器后执行top命令,果然发现存在一个CPU占用较高的PHP进程,然后执行下列命令,发现存在一个由crontab启动的执行了很长时间的PHP脚本:

ps aux | grep 'php' | grep -v 'php-fpm'

由于之前也遇到过PHP脚本执行卡住的类似情况,当时的怀疑是跨机房的Mysql查询在网络抖动时导致Mysql连接卡住了,于是理所当然的将所有卡住的进程都kill掉了,再从负载上看机器马上就恢复正常了,于是心满意足的跑去干别的了。

过了一段时间,刷了下监控,发现问题又出现了,注释掉crontab并kill掉进程后,手动执行问题脚本,竟然能稳定复现问题!看来是把问题想得太简单了,尝试用strace命令看下卡住的进程当前究竟在干什么:

[tabalt@localhost ~] sudo strace -p 13793
Process 13793 attached - interrupt to quit

什么输出都没有!再用netstat看下这个进程是否打开了什么端口:

[tabalt@localhost ~] sudo netstat -tunpa | grep 13793
tcp  0  0 192.168.1.100:38019  192.168.1.101:3306  ESTABLISHED 13793/php
tcp  0  0 192.168.1.100:47107  192.168.1.102:6379  CLOSE_WAIT 13793/php

可以看到进程打开了两个端口,分别与Mysql和Redis建立了连接,并且处于连接建立(ESTABLISHED)和对方主动关闭连接(CLOSE_WAIT)的状态;初看确实像是和数据库的连接卡住了,但是因为吃过亏上过当,咱们使用tcpdump抓包看进程和数据库之间的交互:

tcpdump -i eth0 host 192.168.1.101 and port 3306 -w ~/mysql.cap

抓了好一会,~/mysql.cap 文件中却也没有任何输出,难道进程和Mysql之间已经没有任何交互了?那为什么连接建立没有关闭呢?看来只能从头追踪一下脚本的执行情况了:

首先为了能来得及strace到进程,在PHP脚本最开始的时候输出进程的pid并sleep 10s:

echo getmypid(); sleep(10);

然后启动tcpdump准备抓包本机和Mysql的交互过程。

最后执行PHP脚本,并复制输出的pid后在新窗口中执行strace命令。

这下strace和tcpdump都有内容了!从strace结果看recvfrom之后不再有poll,但并没有看出来有什么不对:

//...
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "://xxx.com/\0\0\23jiadia"..., 271, MSG_DONTWAIT, NULL, NULL) = 271
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "_b?ie=UTF8&node=658390051\0\0008www."..., 271, MSG_DONTWAIT, NULL, NULL) = 206

再从抓包结果看,执行了两条SQL查询语句之后,进程没有再次发送查询请求的包,从程序记录SQL语句日志中,也发现确实只执行了两条:

select * from sites where type = 1 limit 50;
select * from sites where type = 2 limit 50;

但从这些现象中,仍然没有能看出任何端倪,只好祭出终极大法:输出调试!大概看了下代码,并在关键地方添加输出语句,于是代码看起来如下:

echo("start foreach\n");
foreach($types as $type)
{
 echo("foreach $type\n");
 $result[$type] = $this->getSites($type);
}
echo("end foreach\n");

执行后输出如下,查询type为2的网址时卡住了:

start foreach
foreach 1
foreach 2

开始怀疑调用的getSites()方法有问题,代码如下:

$sites = array(); // 省略从数据库查询的代码
$siteNum = 8;  // 省略从配置读的代码
$urlKeys = $result = array();
for($i = 0; $i < $siteNum; $i++)
{
 do {
  $site = array_shift($sites);
  $urlKey = md5($site['url']);
 } while(array_key_exists($urlKey, $urlKeys));

 $urlKeys[$urlKey] = 1;
 $result[] = $site;
}
return $result;

原来这里为了实现拿8个不重复的网址写了2个循环,如果结果中不重复的网址只有7个就会有一个空,少于7个就会有死循环!于是查了下type为2的网址个数,果然是只有6个!

总结

该问题从发现到解决花了大概1天时间,虽然最后证明是低级的代码BUG导致,但是整个排查过程还是挺有收获的,最开始的想当然证明是非常肤浅的,过程中tcpdump和strace的结果也已经很能说明问题了,对各个工具的应用应该要更加熟练,工具的结果也要深入分析。以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

PHP 相关文章推荐
第五节 克隆 [5]
Oct 09 PHP
汉字转化为拼音(php版)
Oct 09 PHP
php Hex RGB颜色值互换的使用
May 10 PHP
PHP与Java进行通信的实现方法
Oct 21 PHP
浅析php工厂模式
Nov 25 PHP
PHP中常用的数组操作方法笔记整理
May 16 PHP
PHP对称加密算法(DES/AES)类的实现代码
Nov 14 PHP
Django 标签筛选的实现代码(一对多、多对多)
Sep 05 PHP
PHP join()函数用法与实例讲解
Mar 11 PHP
PHP常见过waf webshell以及最简单的检测方法
May 21 PHP
laravel 5.3 单用户登录简单实现方法
Oct 14 PHP
discuz论坛更换域名,详细文件修改步骤
Dec 09 PHP
PHP串行化与反串行化实例分析
Dec 27 #PHP
PHP 表单提交及处理表单数据详解及实例
Dec 27 #PHP
iOS+PHP注册登录系统 PHP部分(上)
Dec 26 #PHP
PHP实现表单提交时去除斜杠的方法
Dec 26 #PHP
PHP简单实现冒泡排序的方法
Dec 26 #PHP
php mysql操作mysql_connect连接数据库实例详解
Dec 26 #PHP
PHP常用函数总结(180多个)
Dec 25 #PHP
You might like
php 获取页面中指定内容的实现类
2014/01/23 PHP
PHP正则匹配操作简单示例【preg_match_all应用】
2017/07/10 PHP
详解PHP实现支付宝小程序用户授权的工具类
2018/12/25 PHP
用jQuery打造TabPanel效果代码
2010/05/22 Javascript
Javascript实现重力弹跳拖拽运动效果示例
2013/06/28 Javascript
js语法学习之判断一个对象是否为数组
2014/05/13 Javascript
JS/Jquery判断对象为空的方法
2015/06/11 Javascript
Node.js中JavaScript操作MySQL的常用方法整理
2016/03/01 Javascript
js获取指定字符前/后的字符串简单实例
2016/10/27 Javascript
浅谈$_FILES数组为空的原因
2017/02/16 Javascript
浅谈NodeJs之数据库异常处理
2017/10/25 NodeJs
Angular 4.x+Ionic3踩坑之Ionic3.x pop反向传值详解
2018/03/13 Javascript
Vue Router的懒加载路径的解决方法
2018/06/21 Javascript
vue中进入详情页记住滚动位置的方法(keep-alive)
2018/09/21 Javascript
微信小程序发送短信验证码完整实例
2019/01/07 Javascript
Vue组件间通信方法总结(父子组件、兄弟组件及祖先后代组件间)
2019/04/17 Javascript
微信小程序如何连接Java后台
2019/08/08 Javascript
20多个小事例带你重温ES10新特性(小结)
2019/09/29 Javascript
[01:11]steam端dota2实名认证操作流程视频
2021/03/11 DOTA
python下载图片实现方法(超简单)
2017/07/21 Python
python读取和保存视频文件
2018/04/16 Python
Scrapy基于selenium结合爬取淘宝的实例讲解
2018/06/13 Python
OpenCV图像颜色反转算法详解
2019/05/13 Python
解决python多行注释引发缩进错误的问题
2019/08/23 Python
Python绘制热力图示例
2019/09/27 Python
PyTorch学习:动态图和静态图的例子
2020/01/06 Python
python程序文件扩展名知识点详解
2020/02/27 Python
HTML 5.1来了 9月份正式发布 更新内容预览
2016/04/26 HTML / CSS
英国高街电视:High Street TV
2018/05/22 全球购物
私有程序集与共享程序集有什么区别
2013/04/05 面试题
程序员跳槽必看面试题总结
2013/06/28 面试题
小学生读书感言
2014/02/12 职场文书
幼儿园运动会加油词
2014/02/14 职场文书
成人继续教育实施方案
2014/03/01 职场文书
高速铁道技术专业求职信
2014/08/09 职场文书
办护照工作证明
2014/10/01 职场文书