如何解决PHP使用mysql_query查询超大结果集超内存问题


Posted in PHP onMarch 14, 2016

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

PHP 相关文章推荐
一个目录遍历函数
Oct 09 PHP
Discuz板块横排显示图片的实现方法
May 28 PHP
通俗易懂的php防注入代码
Apr 07 PHP
解析yii数据库的增删查改
Jun 20 PHP
利用php+mcDropdown实现文件路径可在下拉框选择
Aug 07 PHP
php+mysql删除指定编号员工信息的方法
Jan 14 PHP
PHP中isset与array_key_exists的区别实例分析
Jun 02 PHP
Linux操作系统安装LAMP环境
Jun 26 PHP
PHP的关于变量和日期处理的一些面试题目整理
Aug 10 PHP
微信支付开发告警通知实例
Jul 12 PHP
微信利用PHP创建自定义菜单的方法
Aug 01 PHP
Yii2.0中的COOKIE和SESSION用法
Aug 12 PHP
Zend Framework教程之资源(Resources)用法实例详解
Mar 14 #PHP
PHP访问数据库集群的方法小结
Mar 14 #PHP
php 无限级分类 获取顶级分类ID
Mar 13 #PHP
PHP实现文件上传与下载实例与总结
Mar 13 #PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
Mar 11 #PHP
PHP批量去除BOM头内容信息代码
Mar 11 #PHP
PHP中调用C/C++制作的动态链接库的教程
Mar 10 #PHP
You might like
php4与php5的区别小结(配置异同)
2011/12/20 PHP
Codeigniter上传图片出现“You did not select a file to upload”错误解决办法
2014/06/12 PHP
php中strstr、strrchr、substr、stristr四个函数的区别总结
2014/09/22 PHP
curl和libcurl的区别简介
2015/07/01 PHP
php版微信公众号自定义分享内容实现方法
2016/09/22 PHP
PHP回调函数概念与用法实例分析
2017/11/03 PHP
PHP7数组的底层实现示例
2019/08/25 PHP
推荐自用 Javascript 缩图函数 (onDOMLoaded)……
2007/10/23 Javascript
无缝滚动js代码通俗易懂(自写)
2013/06/19 Javascript
常规表格多表头查询示例
2014/02/21 Javascript
js判断手机端(Android手机还是iPhone手机)
2015/07/22 Javascript
jquery.cookie.js用法实例详解
2015/12/25 Javascript
轻松实现Bootstrap图片轮播
2020/04/20 Javascript
AngularJS ng-change 指令的详解及简单实例
2016/07/30 Javascript
JavaScript和jQuery制作光棒效果
2017/02/24 Javascript
JavaScript实现弹出广告功能
2017/03/30 Javascript
Vuex 入门教程
2018/01/10 Javascript
JavaScript单线程和任务队列原理解析
2020/02/04 Javascript
NodeJS和浏览器中this关键字的不同之处
2021/03/03 NodeJs
[46:44]DOTA2-DPC中国联赛 正赛 Ehome vs PSG.LGD BO3 第二场 3月7日
2021/03/11 DOTA
Python(Tornado)模拟登录小米抢手机
2013/11/12 Python
python实现博客文章爬虫示例
2014/02/26 Python
python复制文件的方法实例详解
2015/05/22 Python
Python 专题四 文件基础知识
2017/03/20 Python
Python request设置HTTPS代理代码解析
2018/02/12 Python
Mac 使用python3的matplot画图不显示的解决
2019/11/23 Python
Python ArgumentParse的subparser用法说明
2020/04/20 Python
Python faker生成器生成虚拟数据代码实例
2020/07/20 Python
python 使用elasticsearch 实现翻页的三种方式
2020/07/31 Python
python利用faker库批量生成测试数据
2020/10/15 Python
职业生涯规划书范文
2014/03/10 职场文书
霸王洗发水广告词
2014/03/14 职场文书
环保倡议书50字
2014/05/15 职场文书
个人廉洁自律总结
2015/03/06 职场文书
2016春季运动会开幕词
2016/03/04 职场文书
python多线程方法详解
2022/01/18 Python