并行获取文件

Question

为了下载文件，我创建了一个urlopen对象(urllib2类)并分块读取它。

我想要多次连接到服务器，并在六个不同的会话中下载文件。这样做，下载速度应该会更快。许多下载管理器都有这个功能。

我想指定我想在每个会话中下载的文件部分，并以某种方式在同一时间处理所有会话。我不确定我如何才能做到这一点。

Answer 1

听起来您想要使用HTTP Range的一种可用的风格。

编辑更新链接，指向w3.org存储的RFC

Answer 2

至于运行并行请求，您可能希望使用urllib3或requests。

我花了一些时间列出了一系列类似的问题：

查找[python] +download +concurrent会给出这些有趣的结果：

• Concurrent downloads - Python
• What is the fastest way to send 100,000 HTTP requests in Python?
• Library or tool to download multiple files in parallell
• Download multiple pages concurrently?
• Python: simple async download of url content?
• Python, gevent, urllib2.urlopen.read(), download accelerator
• Python/Urllib2/Threading: Single download thread faster than multiple download threads. Why?
• Scraping landing pages of a list of domains
• A clean, lightweight alternative to Python's twisted?

查找[python] +http +concurrent会给出以下结果：

• Python: How to make multiple HTTP POST queries in one moment?
• Multi threaded web scraper using urlretrieve on a cookie-enabled site

寻找[python] +urllib2 +slow

• Python urllib2.open is slow, need a better way to read several urls
• Python 2.6: parallel parsing with urllib2
• How can I speed up fetching pages with urllib2 in python?
• Threading HTTP requests (with proxies)

寻找[python] +download +many

• Python,multi-threads,fetch webpages,download webpages
• Downloading files in twisted using queue
• Python: Something like map that works on threads
• Rotating Proxies for web scraping
• Anyone know of a good Python based web crawler that I could use?

Answer 3

正如我们已经讨论过的，我用PycURL做了这样一个例子。

我必须做的唯一一件事就是使用pycurl_instance.setopt(pycurl_instance.NOSIGNAL, 1)来防止崩溃。

我确实使用了APScheduler在单独的线程中触发请求。多亏了您的建议，在主线程中将busy waiting while True: pass更改为while True: time.sleep(3)，代码的行为相当不错，来自python-daemon包应用程序的Runner模块的使用几乎已经准备好用作典型的UN*X守护进程。