抓取整个网站内容

Question

我正在将内容源指定为内部非sharepoint网站

例如http://internal.example.com

但是，一个完整的爬网只能在网站的根目录下抓取22个页面(有100个)，除非我指定了‘自定义-指定页面深度和服务器跳数：’并将‘页面深度’和‘限制服务器跳数’保留为无限制

这让爬行变得精神错乱！

更新:我正在使用MS Search Server Express 2008

Answer 1

Wget非常聪明。这是一个我用来递归快照站点的命令行。

wget -r -k -K --no-parent http://internal.example.com/

http://gnuwin32.sourceforge.net/packages/wget.htm

Answer 2

您可能想要确切地指定您正在使用什么工具/技术来执行此爬行。另外，你有没有尝试过无限制以外的东西，结果是什么？