如何抓取动态网页

Question

我想刮网页与动态加载的内容。作为一个浏览这个网页的用户，在动态地将感兴趣的内容加载到页面之前，我必须单击HTML元素。

我知道如何以编程方式从服务器检索初始HTML，但如何以编程方式发出类似浏览器的单击，并执行任何适当的javascript，以便访问动态内容？

我是否需要在我的抓取应用程序中托管一个浏览器控件？

任何语言都适用于我，但C++/C#优先。

谢谢。

Answer 1

我使用硒控制一个无头Chrome浏览器。这提供了对完整浏览器功能的访问，例如javascript和动态内容。您可以像使用鼠标一样以完全相同的方式以编程方式控制浏览器，但在代码中使用XPath元素除外。

在开发阶段，我运行一个完整的浏览器，这样我就可以看到它的交互，如果有一个未发现的错误，我也可以很容易地使用开发工具进行故障排除。

我用Python。这个页面似乎表明支持C#。