Java发送多个HTTP请求的最佳方法

Question

我有一个Java程序，它使用Java11 HttpClient向服务器发送数百个GET请求，它需要每分钟执行2-3次。目前，它执行以下操作(仅描述逻辑)：

for each request that needs to be sent:

    //build GET request
    CompletableFuture<HttpResponse<String>> future = client.sendAsync(request, HttpResponse.BodyHandlers.ofString());
    futures.add(future)
    // for every 100 request, sleep for 2500 milliseconds (to wait for responses)

for each future in futures:
    // parse JSON response

代码工作正常，但是，它受到互联网连接强度的严重影响，好像它是坏的，80%的请求没有得到响应，因为等待时间不够。

问题是，这是否是正确的做法，如果不是，它会是什么。此外，我是否应该等待所有请求得到响应(比如按时间顺序发送请求并使用.join())，如果是，我如何才能这样做。

Answer 1

如果所有API调用都是独立的，那么可以先触发，然后再加入结果。

使用GET的简单示例：

List<URI> uris  = ... //

HttpClient client = HttpClient.newHttpClient();
List<HttpRequest> requests = uris.stream()
        .map(HttpRequest::newBuilder)
        .map(reqBuilder -> reqBuilder.build())
        .collect(toList());

CompletableFuture.allOf(requests.stream()
        .map(request -> client.sendAsync(request, ofString()))
        .toArray(CompletableFuture<?>[]::new))
        .join();

您也可以从使用自定义执行器中获益：

private static final ExecutorService executorService = Executors.newFixedThreadPool(5);

private static final HttpClient httpClient = HttpClient.newBuilder()
        .executor(executorService)
        .version(HttpClient.Version.HTTP_2)
        .connectTimeout(Duration.ofSeconds(10))
        .build();

编辑

如果您想要结果，那么allOf没有帮助，因为它实际上返回了一个空值。

static CompletableFuture allOf(CompletableFuture<？>.( cfs)

返回一个在所有给定的CompletableFuture都完成时完成的新CompletableFutures。

相反，您仍然可以使用join，但是以不同的方式使用：

List<CompleteFuture<HttpResponse<String>> listOfCompletableFutures = ...

     listOfCompletableFutures.
    .stream()
    .map(CompletableFuture::join)
    .filter(Objects::nonNull)
    .collect(Collectors.toList());

好的参考资料：

https://openjdk.java.net/groups/net/httpclient/recipes.html

Java 11 HttpClient - What is Optimum Ratio of HttpClients to Concurrent HttpRequests

https://mkyong.com/java/java-11-httpclient-examples/

Java collecting results of CompletableFuture from multiple calls