wget从不同的子域到原始链接的特定文件夹

Question

我想从以下目录下载1000个文件：

http://downloads.domain.com/myfiles

但是，我没有权限直接访问该文件夹。

相反，网页http://www.domain.com/myfiles/index.html包含指向100个更多页面的链接。每个页面都有我想要下载的10个文件的链接(构成第一个文件夹中的1000个文件)。

因为我想要的文件存储在与页面不同的子域中，所以我似乎必须设置spanning hosts，否则wget将无法获取文件。不幸的是，这些页面还包含一堆我不想要的文件的链接，以及大量到互联网其余部分的链接，所以跨主机给了我一堆来自各地的随机文件。

如何告诉wget只从第一个目录中获取文件？

Answer 1

您不能将其限制在第一个目录中，但您可以将其限制在特定的域中：

wget -rH -Dserver.com http://www.server.com/

更多细节here。