获取浏览器所呈现的java中完全加载的网页源码

Question

在页面加载过程中或页面加载后，很少有网页使用javascript/ajax调用来填充网页中的某些字段。一个例子是http://www.sohos.co.uk/MEN-T-Shirts/Iron-Fist-Mens-Clothing/--Iron-Fist-Bloody-Mess-T--Shirt_ct271bd5pd197.html，其中大小下拉框中的内容是通过使用javascript填充的。

在Java中有可能获得这种类型的完全加载的页面吗？我认为，简单地使用HttpClient或其他方法是不够的，但是使用Selenium，如果可以做到这一点，那就太好了。

我想要一些通用的解决方案，可以适用于所有网站。

任何输入/指针都将非常感谢。

谢谢

Jitendra

Answer 1

Selenium的WebDriver通过不同的实现支持这样的仿真。其中之一是HtmlUnit (一种无头java浏览器)--看一看。