首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >有平行的wget吗?像fping这样的东西,但只用于下载?

有平行的wget吗?像fping这样的东西,但只用于下载?
EN

Unix & Linux用户
提问于 2012-04-07 16:18:01
回答 4查看 23.3K关注 0票数 17

我只找到了puf (并行URL取取器),但是我无法让它从文件中读取URL,比如

代码语言:javascript
复制
 puf < urls.txt

也不管用。

服务器上安装的操作系统是Ubuntu。

EN

回答 4

Unix & Linux用户

发布于 2012-04-10 17:34:36

aria2就是这么做的。

http://sourceforge.net/apps/trac/aria2/wiki/UsageExample#Downloadfileslistedinafileconcurrently

例子: aria2c http://example.org/mylinux.iso

票数 7
EN

Unix & Linux用户

发布于 2012-04-07 20:32:38

GNU并行手册页的一部分包含一个并行递归wget的示例。

https://www.gnu.org/software/parallel/man.html#example-breadth-first-parallel-web-crawler-mirrorer

HTML下载两次:一次用于提取链接,一次用于下载到磁盘。其他内容只下载一次。

如果你不需要递归,那么这个问题的答案似乎是显而易见的。

票数 2
EN

Unix & Linux用户

发布于 2012-04-10 03:21:19

您可以使用Python和pycurl库实现这一点。pycurl库有一个“多”接口,它实现了自己的偶数循环,允许多个同时连接。

然而,与其他更"Pythonic“的代码相比,这个接口有点像C,因此有点麻烦。

我为它编写了一个包装器,它在上面构建了一个更完整的类似浏览器的客户机。你可以用它作为一个例子。请参阅pycopia.WWW.client模块。HTTPConnectionManager封装多个接口。

票数 2
EN
页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://unix.stackexchange.com/questions/35956

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档