解析大文件

Question

我必须解析文件

• 日志(5GB)
• 错误日志(1GB)
• 导入数据文件(400 5gb)
• 备份数据(10 5gb)

等等。

我的第一个想法是在php中解析这些文件，然后删除我不需要的内容并将它们保存到我的数据库中。对于导入文件，它运行正常，因为它很小

但是，当我想检查备份数据时，php会失败并停止(我得到了不同的错误，比如内存错误)。

我想知道解析和导入这些大文件的最好方法是什么，最好，我希望有一个脚本来管理所有这些文件。我的php脚本能处理吗？还是我该做点别的？

Answer 1

fread是非常有用的http://php.net/manual/en/function.fread.php

它将逐行解析，以便每次内存中只有一行或最大X字节。