Php自动转到下一页并抓取

Question

我是Php新手，我正在尝试编写一个抓取亚马逊产品标题的工具，现在，我可以抓取第一页，但我需要这个工具去下一页，直到没有页面离开，并像第一页一样做同样的任务。代码如下：

    <?php
$file_string = file_get_contents('http://www.amazon.com/s/ref=lp_3737671_pg_1?rh=n%3A1055398%2Cn%3A%211063498%2Cn%3A3206324011%2Cn%3A3737671&page=1&ie=UTF8&qid=1361609819');
preg_match_all('/<span class="lrg bold">(.*)<\/span>/i', $file_string, $links);
for($i = 0; $i < count($links[1]); $i++) {
echo $links[1][$i] . '<br>';
}

?>

任何帮助都是感恩的。

Answer 1

要将所有页面的HTML都作为一个变量来获取，这样做是可行的

    <?php

    $html = '';

    $file_string = file_get_contents('http://www.amazon.com/s/ref=lp_3737671_pg_1?rh=n%3A1055398%2Cn%3A%211063498%2Cn%3A3206324011%2Cn%3A3737671&page=1&ie=UTF8&qid=1361609819');
    preg_match_all('/<span class="lrg bold">(.*)<\/span>/i', $file_string, $links);
    for($i = 0; $i < count($links[1]); $i++) {
        $html .= file_get_contents($links[1][$i]);
    }

    echo "all pages combined:\n".$html;

    ?>

但是，您的服务器很可能会超时、内存耗尽或出现其他错误。要抓取HTML内容，最好先创建一个URL列表，然后一次抓取一个。您可以通过一个HTML页面来实现这一点，该页面通过AJAX调用scraper。