通常,当我使用Httrack下载网站时,我会得到所有的文件;图片,CSS,JS等。今天,程序在2秒内完成下载,只抓取了index.html文件,里面还有CSS,IMG代码等仍然链接到外部。我已经将我的设置重置为默认设置,但没有帮助。有谁知道如何将其改回正常运行?
发布于 2014-11-23 01:18:52
这个网站有robots.txt吗?你在你的设置中使用它吗?
如果有,你可以在"Options/spider/spider: Never“(according to this article)中将其关闭。
https://stackoverflow.com/questions/27080175
复制相似问题