我正在使用PHPCrawl,我想知道是否有人知道是否可以从抓取所有带参数的URLS (无论是.html还是.php)中排除,例如
domain.com/article.html?showComment=1289420017718发布于 2011-05-14 00:36:59
我只是发现自己这样做效果更好
$crawler->addNonFollowMatch("/\?/");发布于 2011-05-13 23:55:46
为任何包含问号的URL添加非跟随匹配模式:
$crawler->addNonFollowMatch(".*\?.*")
https://stackoverflow.com/questions/5994489
复制相似问题