PHP读取大文件的多种方法介绍


Posted in PHP onApril 04, 2016

读取大文件一直是一个头痛的问题,我们像使用php开发读取小文件可以直接使用各种函数实现,但一到大文章就会发现常用的方法是无法正常使用或时间太长太卡了,下面我们就一起来看看关于php读取大文件问题解决办法,希望例子能帮助到各位。

在PHP中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能 很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。

需求:
有一个800M的日志文件,大约有500多万行, 用PHP返回最后几行的内容。

实现方法:

1. 直接采用file函数来操作

由于 file函数是一次性将所有内容读入内存,而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M 来进行设置,这个值如果设置-1,则内存使用量不受限制。

下面是一段用file来取出这具文件最后一行的代码:

<?php
ini_set('memory_limit', '-1');
$file = 'access.log';
$data = file($file);
$line = $data[count($data) - 1];
echo $line;
?>

整个代码执行完成耗时 116.9613 (s)。

我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万 不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。

2.直接调用Linux的 tail 命令来显示最 后几行

在Linux命令行下,可以直接使用 tail -n 10 access.log 很轻易的显示日志文件最后几行,可以直接用PHP来调用tail命令,执行PHP代码如下:

<?php
  $file = 'access.log';
  $file = escapeshellarg($file); // 对命令行参数进行安全转义
  $line = `tail -n 1 $file`;
  echo $line;
?>

整个代码执行完成耗时 0.0034 (s)

3. 直接使用PHP的 fseek 来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的。在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法:

方法一

首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。
实现代码如下

<?php
$fp = fopen($file, "r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0)
{
 while ($t != "\n")
 {
 fseek($fp, $pos, SEEK_END);
 $t = fgetc($fp);
 $pos--;
 }
 $t = " ";
 $data .= fgets($fp);
 $line--;
}
fclose($fp);
echo $data
?>

整个代码执行完成耗时 0.0095 (s)

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(\n)的个数来判断是否已经读完最后$num行数据。
实现代码如下

<?php
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u", filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk)
{
 $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
 fseek($fp, ($len + $seekSize) * -1, SEEK_END);
 $readData = fread($fp, $seekSize) . $readData;
 if (substr_count($readData, "\n") >= $num + 1)
 {
 preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
 $data = $match[0];
 break;
 }
}
fclose($fp);
echo $data;
?>

整个代码执行完成耗时 0.0009(s)。

方法三

<?php
function tail($fp, $n, $base = 5)
{
 assert($n > 0);
 $pos = $n + 1;
 $lines = array();
 while (count($lines) <= $n)
 {
 try
 {
  fseek($fp, -$pos, SEEK_END);
 }
 catch (Exception $e)
 {
  fseek(0);
  break;
 }
 $pos *= $base;
 while (!feof($fp))
 {
  array_unshift($lines, fgets($fp));
 }
 }
 return array_slice($lines, 0, $n);
}
var_dump(tail(fopen("access.log", "r+"), 10));
?>

整个代码执行完成耗时 0.0003(s)

方法四,PHP的stream_get_line函数 ,读取快速,读取50万条数据大文件,大概需要20秒左右的时间!例子代码如下

$fp = fopen('./iis.log', 'r'); //文件 
while (!feof($fp)) { 
 //for($j=1;$j<=1000;$j++) {     //读取下面的1000行并存储到数组中 
 $logarray[] = stream_get_line($fp, 65535, "\n"); 
    // break;
 // } 
 
 }

以上就是php读取大文件的四种方法,希望对大家的学习有所帮助。

PHP 相关文章推荐
使用php重新实现PHP脚本引擎内置函数
Mar 06 PHP
PHP XML数据解析代码
May 26 PHP
PHP合并两个数组的两种方式的异同
Sep 14 PHP
三种php连接access数据库方法
Nov 11 PHP
PHP内核探索:变量概述
Jan 30 PHP
PHP static局部静态变量和全局静态变量总结
Mar 02 PHP
PHP生成自适应大小的缩略图类及使用方法分享
May 06 PHP
php中的动态调用实例分析
Jan 07 PHP
PHP处理Ajax请求与Ajax跨域问题
Feb 13 PHP
PHP实现的curl批量请求操作示例
Jun 06 PHP
laravel Model 执行事务的实现
Oct 10 PHP
基于PHP实现用户在线状态检测
Nov 10 PHP
PHP如何将XML转成数组
Apr 04 #PHP
php自动加载方式集合
Apr 04 #PHP
php文件上传的两种实现方法
Apr 04 #PHP
在Win2003(64位)中配置IIS6+PHP5.2.17+MySQL5.5的运行环境
Apr 04 #PHP
PHP版本的选择5.2.17 5.3.27 5.3.28 5.4 5.5兼容性问题分析
Apr 04 #PHP
PHP命名空间和自动加载类
Apr 03 #PHP
PHP中的Trait 特性及作用
Apr 03 #PHP
You might like
ThinkPHP提示错误Fatal error: Allowed memory size的解决方法
2015/02/12 PHP
PHP Socket网络操作类定义与用法示例
2017/08/30 PHP
Laravel框架控制器,视图及模型操作图文详解
2019/12/04 PHP
js左侧多级菜单动态的解决方案
2010/02/01 Javascript
jQuery插件 tabBox实现代码
2010/02/09 Javascript
JavaScript DOM学习第八章 表单错误提示
2010/02/19 Javascript
js获取某元素的class里面的css属性值代码
2014/01/16 Javascript
jquery解析JSON数据示例代码
2014/03/17 Javascript
JavaScript DOM进阶方法
2015/04/13 Javascript
JS如何设置cookie有效期为当天24点并弹出欢迎登陆界面
2016/08/04 Javascript
14 个折磨人的 JavaScript 面试题
2016/08/08 Javascript
通过sails和阿里大于实现短信验证
2017/01/04 Javascript
JS中将多个逗号替换为一个逗号的实现代码
2017/06/23 Javascript
轻松理解vue的双向数据绑定问题
2017/10/30 Javascript
Angular 4根据组件名称动态创建出组件的方法教程
2017/11/01 Javascript
JS运动特效之同时运动实现方法分析
2018/01/24 Javascript
Angularjs Promise实例详解
2018/03/15 Javascript
angular多语言配置详解
2019/05/16 Javascript
基于JavaScript判断两个对象内容是否相等
2020/01/10 Javascript
html2canvas属性和使用方法以及如何使用html2canvas将HTML内容写入Canvas生成图片
2020/01/12 Javascript
基于JS实现操作成功之后自动跳转页面
2020/09/25 Javascript
python使用chardet判断字符串编码的方法
2015/03/13 Python
python数据类型判断type与isinstance的区别实例解析
2017/10/31 Python
python如何对实例属性进行类型检查
2018/03/20 Python
PyCharm最新激活码PyCharm2020.2.3有效
2020/11/18 Python
CSS3颜色值RGBA与渐变色使用介绍
2020/03/06 HTML / CSS
什么是类的返射机制
2016/02/06 面试题
定义一结构体数组表示分数,并求两个分数相加之和
2013/06/11 面试题
财产保全担保书范文
2014/04/01 职场文书
2015年银行柜员工作总结报告
2015/04/01 职场文书
物业工程部主管岗位职责
2015/04/16 职场文书
2016清明节森林防火广播稿
2015/12/17 职场文书
高一语文教学反思
2016/02/16 职场文书
如何理解及使用Python闭包
2021/06/01 Python
Element-ui Layout布局(Row和Col组件)的实现
2021/12/06 Vue.js
Python实现提取PDF简历信息并存入Excel
2022/04/02 Python