我需要从许多网站下载许多文件,例如10个文件,这通常需要(8-9)秒来下载所有文件。
我想要的是同时(并行)发出请求,这样作业就可以在(1-2)秒内完成。
我知道curl在单个请求和多个请求中的使用。但是10个文件的请求应该同时开始
e.g. 02:38:14 // all the request started at this time我有很多带宽,所以并行下载不会是问题。
这在curl中或任何其他方式中都是可能的吗?
发布于 2014-02-21 18:43:22
如果要在shell中执行此操作,只需使用&向后台发送一个命令即可。这应该是可行的:
for I in `cat urls.txt`; do curl $I & done这将遍历名为urls.txt的文件中的所有urls,并对它们执行curl URL &。&告诉curl在后台运行。
https://stackoverflow.com/questions/21931626
复制相似问题