有没有办法在通配符上使用wget？

Question

是否可以在linux上使用wget命令来获取网站目录树中的所有文件？

我可以递归地获得一个网站的所有镜像等，但我想只获得在一个单一的目录中的所有文件。在我看来，它应该是这样的：

    wget http://www.somesite.com/here/is/some/folders/*

这将下载/folders/目录中的所有文件(不必在子目录中递归查找)。但是通配符似乎不适用于wget，所以我正在寻找正确的方法。

Answer 1

当然，有wget -r，它将递归folders/下的所有内容，前提是有一个可以递归的索引。

您可以做的另一件事是，如果folders目录中有一个index.htm或其他任何东西，您可以使用grep、sed，并通过将wget链接到wget来实现，如下所示：

wget -qO - http://foo/folder/index.htm | sed 's/href=/#/' | cut -d\# -f2 | \
  while read url; do wget $url; done

这通常是我需要抓取的时候所做的，无论出于什么原因，我都不能递归。

编辑：

可能需要添加--no-parent并正确设置--domain。wget manpage实际上相当不错，涵盖了这方面的内容。