我只找到了puf (并行URL取取器),但是我无法让它从文件中读取URL,比如
puf < urls.txt也不管用。
服务器上安装的操作系统是Ubuntu。
发布于 2012-04-10 17:34:36
aria2就是这么做的。
http://sourceforge.net/apps/trac/aria2/wiki/UsageExample#Downloadfileslistedinafileconcurrently
例子: aria2c http://example.org/mylinux.iso
发布于 2012-04-07 20:32:38
GNU并行手册页的一部分包含一个并行递归wget的示例。
https://www.gnu.org/software/parallel/man.html#example-breadth-first-parallel-web-crawler-mirrorer
HTML下载两次:一次用于提取链接,一次用于下载到磁盘。其他内容只下载一次。
如果你不需要递归,那么这个问题的答案似乎是显而易见的。
发布于 2012-04-10 03:21:19
您可以使用Python和pycurl库实现这一点。pycurl库有一个“多”接口,它实现了自己的偶数循环,允许多个同时连接。
然而,与其他更"Pythonic“的代码相比,这个接口有点像C,因此有点麻烦。
我为它编写了一个包装器,它在上面构建了一个更完整的类似浏览器的客户机。你可以用它作为一个例子。请参阅pycopia.WWW.client模块。HTTPConnectionManager封装多个接口。
https://unix.stackexchange.com/questions/35956
复制相似问题