我试图获得所有的图片,特别是从这个网站:http://web.archive.org/web/20160110012916/http://habibemaia.com/。我几乎可以通过收集所有"src“标记并从那里下载,但是主图片存在问题,这是由javascript更改的,无论是时间上的更改,还是单击事件上的更改。我把我的网络客户端设置成这样:
webClient.getOptions().setCssEnabled(true);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.waitForBackgroundJavaScript(15000);
webClient.waitForBackgroundJavaScriptStartingBefore(5000);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setUseInsecureSSL(true);在我得到div之后,我尝试像这样使用click:
HtmlPage newPage = div.click();
DomNodeList<DomElement> newImages = newPage.getElementsByTagName("img");
for (DomElement img : newImages) {
if (img.hasAttribute("src")) {
newImagesStrings.add(img.getAttribute("src"));
System.out.println("Image added: "+img.getAttribute("src"));
}
}如果在浏览器中单击此div,将出现一个新图像。不幸的是,此代码没有触发更改图像的javascript。我试过用
webClient.waitForBackgroundJavaScript(3000);点击()后,像其他地方建议的那样,但没有运气。页面不变。现在我完全没有想法了。谢谢你帮忙。
发布于 2017-01-08 09:25:41
webClient.waitForBackgroundJavaScript(15000);
webClient.waitForBackgroundJavaScriptStartingBefore(5000);都是没有选项的设置。如果您在执行某些操作后调用它们,则只有这样做才有意义--从代码的设置部分删除它。
关于图片:我用firebug对页面进行了快速分析。对我来说,看起来所有的图像都是代码的一部分,而javascript只会切换可见性(有一些奇特的效果)。
也许是这样:
https://stackoverflow.com/questions/41530921
复制相似问题