C++并发GET请求

Question

我正在编写一个C++应用程序，并且希望通过HTTP请求同时请求多个数据文件，我应该从哪里开始(需要跨平台)。

1. 运行应用程序
2. 创建一个URL列表{ "http://host/file1.txt“、"http://host/file2.txt”、"http://host/file3.txt"}
3. 同时请求所有URL并将内容加载到变量(不希望磁盘写入)。每个文件大约有10 of的数据。

你推荐我使用哪些图书馆？胡言乱语？科普？提升asio？我需要滚动我自己的多线程请求所有文件同时？有更简单的方法吗？

编辑:我需要同时请求大约1000个GET请求。我很可能会分批完成这个任务(每次100次，并在完成时创建更多的连接)。

Answer 1

我推荐利伯尔。我不太熟悉它，但它确实有一个多界面来执行多个同时进行的HTTP操作。

根据您使用的解决方案，可以不使用多线程执行异步I/O。关键是使用select(2)系统调用。select()接受一组文件描述符，并告诉您其中是否有可用的数据。如果他们这样做了，那么您可以继续对它们使用read(2)或recv(2)，而不必担心阻塞。

Answer 2

Web浏览器通常维护一个工作线程池来进行下载，并在它们免费的时候将下载分配给它们。IIRC HTTP有一些关于您应该同时连接到同一台服务器的多个同时连接的问题:太多的连接是粗鲁的。

如果有几个请求指向同一个服务器，并且支持保持存活(几乎每个人都这样做)，那么这可能比发送多个同时请求的垃圾邮件更好。一般的想法是，对多个请求串联使用一个TCP/IP连接，从而节省握手开销。在我实现Java类的经验中，实际的结果是您引入了一个微妙的bug，当您为一个新的请求重用连接时，不总是正确地清除状态，并且花费大量的时间盯着日志记录/嗅探数据；)

libcurl当然支持“保持活动”(我认为在默认情况下启用)。