HttpClient vs HtmlUnit

Question

我知道HtmlUnit模拟浏览器，而HttpClient不模拟。

在HtmlUnit中，当一个页面被加载并且里面有一个JavaScript时，脚本会被执行吗？如果脚本设置了cookie，那么cookie是否会设置在HtmlUnit的浏览器中并可从Java代码访问？

除了使用HtmlUnit之外，还有什么可以使用HttpClient来完成的吗？在HtmlUnit中，我们可以从POST请求开始，然后修改请求的任何部分，包括方法、URI、HTTP版本、头和正文吗？

与HtmlUnit相比，HttpClient有哪些优势

Answer 1

HttpClient是一个较低级别的库，用于发送超文本传输协议请求和检索响应。

HtmlUnit在更高的层次上，内部使用HttpClient发出HTTP请求，但也处理JavaScript (通过Rhino和内部DOM实现)、XPath (通过Xalan)、CSS (通过CSSParser)、格式错误的超文本标记语言(通过NekoHtml)、WebSockets (通过Jetty)等。

您可以在HtmlUnit中修改传出请求和响应，如下所示：

new WebConnectionWrapper(webClient) {

    public WebResponse getResponse(WebRequest request) throws IOException {
        WebResponse response = super.getResponse(request);
        if (request.getUrl().toExternalForm().contains("my_url")) {
            String content = response.getContentAsString("UTF-8");

            //change content

            WebResponseData data = new WebResponseData(content.getBytes("UTF-8"),
                    response.getStatusCode(), response.getStatusMessage(), response.getResponseHeaders());
            response = new WebResponse(data, request, response.getLoadTime());
        }
        return response;
    }
};

正如here所暗示的那样。

您可以通过覆盖HttpClient来更改HtmlUnit中使用的HttpWebConnection.createHttpClient()。

您可以通过以下方式发出POST请求：

WebRequest webRequest = new WebRequest(url, HttpMethod.POST);
HtmlPage page = webClient.getPage(webRequest);