如何通过输入域名递归抓取所有站点链接？

Question

如何在PHP中通过输入域名递归抓取所有站点链接？请给我一些想法。

Answer 1

为了抓取站点的全部链接，您需要使用简单的Html Dom。这是演示链接。http://simplehtmldom.sourceforge.net/manual.htm

例如:如果你想获得网站的所有链接。

$html = file_get_html('http://www.example.com/')；//从URL或文件创建DOM

// For查找所有链接

foreach($html->find('a') as $element){

   echo $element->href . '<br>';

}

Answer 2

不是抓取所有的链接，只是抓取“有用的”链接，通过设计一个算法来evaluate.And设置递归的深度。