我试图用wget -r在本地站点上爬行,但没有成功:它只是下载第一页,没有更深入的内容。顺便说一句,我太不成功了,不管我在尝试什么网站,它都不起作用.:)
我尝试过各种选择,但没有比这更好的选择了。下面是我想要用的命令:
wget -r -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" --follow-tags=a,ref --debug `http://rocky:8081/obix`真的,我一点也不知道。无论我看过什么网站或文档,wget都告诉我,它应该简单地与wget -r一起工作,所以我开始认为我的wget是错误的(我在Fedora 16上)。
有什么想法吗?
编辑:这是我为wget -r --follow-tags=ref,a http://rocky:8081/obix/获得的输出:
wget -r -跟踪标签=参考,一个
http://rocky:8081/obix/-2012年-10-19 09:29:51-http://rocky:8081/obix/解决岩石.127.0.0.1连接岩石127.0.0.1.已连接。HTTP请求已发送,正在等待响应...200 OK长度: 792 text/xml保存到:“rocky:8081/obix/index.html” 100%==============================================================================> 792 -2012年0s -10-19 09:29:51 (86,0 MB/s) -“rocky:8081/obix/index.html”保存了792/792 完成-2012-10-19 09:29:51-下载:1个文件,792个0 (86,0 MB/s)
发布于 2012-10-18 13:30:47
通常没有必要给用户代理。
只需提供:
wget -r http://stackoverflow.com/questions/12955253/recursive-wget-wont-work要了解为什么wget不做您想做的事情,请查看它给您的输出,并在这里发布它。
https://stackoverflow.com/questions/12955253
复制相似问题