如何用Java下载一个完整的网页(包括所有内容)？

Question

使用Java，我需要保存一个完整的网页(以及它的所有内容，如图像，css，javascript e.t.c)，就像我们可以用HttpClient库保存为-->完整网页选项一样。我该怎么做呢？

Answer 1

您可以尝试lib curl java http://curl.haxx.se/libcurl/java/

你也可以参考这个讨论，curl-equivalent-in-java

Answer 2

您必须编写一个应用程序来获取html文件，对其进行解析并提取所有引用，然后获取通过解析找到的所有文件。

Answer 3

这并不容易，因为一些CSS/JS/Images文件路径可能是“隐藏的”。只需考虑以下示例：

<script type="...">
   document.write("&bla;script" + " type='...' src='" + blahBlah() + "'&bla;" + "&bla;/script&bla;");
</script>

然而，获取页面源代码、解析搜索URL和下载创建的URL几乎就是您可能需要的一切。