php几个快速读取大文件例子
来源: 阅读:540 次 日期:2014-11-20 09:50:53
温馨提示: 小编为您整理了“php几个快速读取大文件例子”,方便广大网友查阅!

在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。

需求

有一个800m的日志文件,大约有500多万行, 用php返回最后几行的内容。

实现方法

1. 直接采用file函数来操作

由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16m,这是通过php.ini里的 memory_limit = 16m 来进行设置,这个值如果设置-1,则内存使用量不受限制。

下面是一段用file来取出这具文件最后一行的代码:

代码如下:

<?php

ini_set('memory_limit', '-1');

$file = 'access.log';

$data = file($file);

$line = $data[count($data) - 1];

echo $line;

?>

整个代码执行完成耗时 116.9613 (s)。

我机器是2个g的内存,当按下f5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万 不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。

2.直接调用linux的 tail 命令来显示最 后几行

在linux命令行下,可以直接使用 tail -n 10 access.log 很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下:

代码如下:

<?php

$file = 'access.log';

$file = escapeshellarg($file); // 对命令行参数进行安全转义

$line = `tail -n 1 $file`;

echo $line;

?>

整个代码执行完成耗时 0.0034 (s)

3. 直接使用php的 fseek 来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的。在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法:

方法一

首先通过fseek找到文件的最后一位eof,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。

#实现代码如下

代码如下:

<?php

$fp = fopen($file, r);

$line = 10;

$pos = -2;

$t = ;

$data = ;

while ($line > 0)

{

while ($t != \n)

{

fseek($fp, $pos, seek_end);

$t = fgetc($fp);

$pos--;

}

$t = ;

$data .= fgets($fp);

$line--;

}

fclose($fp);

echo $data

?>

整个代码执行完成耗时 0.0095 (s)

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(\n)的个数来判断是否已经读完最后$num行数据。

#实现代码如下

代码如下:

<?php

$fp = fopen($file, r);

$num = 10;

$chunk = 4096;

$fs = sprintf(%u, filesize($file));

$max = (intval($fs) == php_int_max) ? php_int_max : filesize($file);

for ($len = 0; $len < $max; $len += $chunk)

{

$seeksize = ($max - $len > $chunk) ? $chunk : $max - $len;

fseek($fp, ($len + $seeksize) * -1, seek_end);

$readdata = fread($fp, $seeksize) . $readdata;

if (substr_count($readdata, \n) >= $num + 1)

{

preg_match(!(.*?\n){ . ($num) . }$!, $readdata, $match);

$data = $match[0];

break;

}

}

fclose($fp);

echo $data;

?>

整个代码执行完成耗时 0.0009(s)。

方法三

代码如下:

<?php

function tail($fp, $n, $base = 5)

{

assert($n > 0);

$pos = $n + 1;

$lines = array();

while (count($lines) <= $n)

{

try

{

fseek($fp, -$pos, seek_end);

}

catch (exception $e)

{

fseek(0);

break;

}

$pos *= $base;

while (!feof($fp))

{

array_unshift($lines, fgets($fp));

}

}

return array_slice($lines, 0, $n);

}

var_dump(tail(fopen(access.log, r+), 10));

?>

整个代码执行完成耗时 0.0003(s)

更多信息请查看IT技术专栏

更多信息请查看网络编程
由于各方面情况的不断调整与变化, 提供的所有考试信息和咨询回复仅供参考,敬请考生以权威部门公布的正式信息和咨询为准!

2025国考·省考课程试听报名

  • 报班类型
  • 姓名
  • 手机号
  • 验证码
关于我们 | 联系我们 | 人才招聘 | 网站声明 | 网站帮助 | 非正式的简要咨询 | 简要咨询须知 | 加入群交流 | 手机站点 | 投诉建议
工业和信息化部备案号:滇ICP备2023014141号-1 云南省教育厅备案号:云教ICP备0901021 滇公网安备53010202001879号 人力资源服务许可证:(云)人服证字(2023)第0102001523号
云南网警备案专用图标
联系电话:0871-65317125(9:00—18:00) 获取招聘考试信息及咨询关注公众号:
咨询QQ:526150442(9:00—18:00)版权所有:
云南网警报警专用图标
Baidu
map