PHP超低内存遍历目录文件和读取超大文件的方法

这不是一篇教程，这是一篇笔记，所以我不会很系统地论述原理和实现，只简单说明和举例。

前言

我写这篇笔记的原因是现在网络上关于 php 遍历目录文件和 php 读取文本文件的教程和示例代码都是极其低效的，低效就算了，有的甚至好意思说是高效，实在辣眼睛。

这篇笔记主要解决这么几个问题：

php 如何使用超低内存快速遍历数以万计的目录文件？

php 如何使用超低内存快速读取几百mb甚至是gb级文件？

顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。（因为需要 php 写这两个功能的情况真的很少，我记性教案教学反思不好，免得忘了又重走一遍弯路）

遍历目录文件

网上关于这个方法的实现大多示例代码是郑和是哪个朝代的 glob 或者 opendir + readdir 组合，在目录文件不多的情况下是没问题的，但文件一多就有问题了（这里是指封装成函数统一返回一个数组的时候），过大的数组会要求使用超大内存，不仅导致速度慢，而且内存不足的时候直接就崩溃了。

这时候正确的实现方法是使用 yield 关键字返回，下面是我最近使用的代码：

<?phpfunction glob2foreach($path, $include_dirs=fal) {  $path = rtrim($path, '/*');  if (is_readable($path)) {    $dh = opendir($path);    while (($file = readdir($dh)) !== fal) {      if (substr($file, 0, 1) == '.')        continue;      $rfile = "{$path}/{$file}";      if (is_dir($rfile)) {        $sub = glob2foreach($rfile, $include_dirs);        while ($sub->valid()) {          yield $sub->current();          $sub->next();        }        if ($include_dirs)          yield $rfile;      } el {        yield $rfile;      }    }    clodir($dh);  }}// 使用$glob = glob2foreach('/var/www');while ($glob->valid()) {    // 当前文件  $filename = $glob->current();    // 这个就是包括路径在内的完整文件名了  // echo $filename;  // 指向下一个，不能少  $glob->next();}

yield 返回的是生成器对象（不了解的可以先去了解一下 php 生成器），并没有立即生成数组，所以目录下文件再多也不会出现巨无霸数组的情况，内存消耗是低到可以忽略不计的几十 kb 级别，时间消耗也几乎只有循环消耗。

读取文本文件

读取文本文件的情况跟遍历目录文件其实类似，网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用，处理小文件的时候没问题，但是处理大文件就有内存不足等问题了，用 file_get_contents 去读几百mb的文件几乎就是自杀。

这个问题的正确处理方法同样和 yield 关键字有关，通过 yield 逐行处理，或者 splfileobject 从指定位置读取。

逐行读取整个文件：

<?phpfunction read_file($path) {  if ($handle = fopen($path, 'r')) {    while (! feof($handle)) {      yield trim(fgets($handle));    }    fclo($handle);  }}// 使用$glob = read_file('/var/古诗元宵www/hello.txt');while ($glob->valid()) {    // 当前行文本  $line = $glob->current();    // 逐行处理数据  // $line  // 指向下一个，不能少  $glob->next();}

通过 yield 逐行读取文件，具体使用多少内存取决于每一行的数据量有多大，如果是每行只有几百字节的日志文件，即使这个文件超过100m，占用内存也只是kb级别。

但很多时候我们并不需要一次性读完整个文件，比如当我们想分页读取一个1g大小的日志文件的时候，可能想第一页读取前面1000行，第二页读取第1000行到2000行，这时候就不能用上面的方法了，因为那方法虽然占用内存低，但是数以万计的循环是需要消郑州华信学院导航网耗时间的。

这时候，就改用 splfileobject 处理，splfileobject 可以从指定行数开始读取。下面例子是写入数组返回，可以根据自己业务决定要不要写入数组，我懒得改了。

<?phpfunction read_file2arr($path, $count, $offt=0) {  $arr = array();  if (! is_readable($path))    return $arr;  $fp = new splfileobject($path, 'r');    // 定位到指定的行数开始读  if ($offt)    $fp->ek($offt);   $i = 0;    while (! $fp->eof()) {        // 必须放在开头    $i++;        // 只读 $count 这么多行    if ($i > $count)      break;        $line = $fp->current();    $line = trim($line);    $arr[] = $line;    // 指向下一个，不能少    $fp->next();  }    return $arr;}

以上所说的都是文件巨大但是每一行数据量都很小的情况，有时候情况不是这样，有时候是一行数据也有上百mb，那这该怎么处理呢？

如果是这种情况，那就要看具体业务了，splfileobject 是可以通过 fek 定位到字符位置（注意，跟 ek 定位到行数不一样），然后通过 fread 读取指定长度的字符。

也就是说通过 fek 和 fread 是可以实现分段读取一个超长字符串的，也就是可以实现超低内存处理，但是具体要怎么做还是得看具体业务要求允许你怎么做。

复制大文件

顺便说下 php 复制文件，复制小文件用 copy 函数是没问题的，复制大文件的话还是用数据流好，例子如下：

<?phpfunction copy_file($path, $to_file) {  if (! is_readable($path))    return fal;  if(! is_dir(dirname($to_file)))    适合幼儿背的唐诗@mkdir(dirname($to_file).'/', 0747, true);    if (    ($handle1 = fopen($path, 'r'))     && ($handle2 = fopen($to_file, 'w'))  ) {    stream_copy_to_stream($handle1, $handle2);    fclo($handle1);    fclo($handle2);  }}

最后

我这只说结论，没有展示测试数据，可能难以服众，如果你持怀疑态度想求证，可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持www.887551.com。