解析网站，获取所有链接并保存到mysql数据库中。

Question

我正在研究PHP和MySQL以及。我必须解析一个网站的网页，并获取一些内容。为此，我将网站主页作为初始网址，并获取该页面上所有可用的锚标记。

我必须过滤那些urls，因为每个链接对我都没有用。所以我用了正则表达式。所需的链接必须保存到我的mysql数据库。

我的问题是：

1. 如果我提取所有链接(大约1,000条链接)并试图保存到mysql DB中，我将得到以下错误:致命错误:在第12行C:\xampp\htdocs\search-engine\index.php中超过60秒的最大执行时间
2. 我不能把数据存储到数据库中。
3. 我不能过滤链接。 包括(‘mysql_connection.php’)；mysql_connection.php $website_name="xyz.html/"；$html=file_get_html("xyz.html/")；foreach($html->find('div')作为$div) { foreach($html->find('a') as $a_burrp) { echo $a1 = $a_burrp->href。''；if(preg_match('/.+?event.+/'，$a1，$a_match)) {mysql_query(“插入scrap_urls(url，website_name，date_added)值”($a1，$website\_name，now())"；}}

Answer 1

您正在接收致命错误:由于中的配置限制，最大执行时间为60秒。您可以通过在代码的顶部添加这样的一行来扩大这个数字：

set_time_limit(320);

更多信息：http://www.php.net/manual/en/function.set-time-limit.php

您还可以在php.ini xampp中放大文件中的数字。

Answer 2

实际上，PHP不是最好的解决方案。PHP脚本旨在执行快速操作和返回响应。在您的例子中，脚本可能会运行相当长的时间。虽然您可以增加时间，但我鼓励您使用比标准PHP灵活得多的技术，例如Python或JavaScript (Node.js)。

Answer 3

我还/通常使用需要“一段时间”才能完成的php脚本。

我总是将这些脚本作为cronjob运行，或者直接从shell或命令行运行，使用：

php script.php参数

尽管我不必介意执行死刑。php_execution_time通常设置为<=60secs，这是有目的的。

致以问候。