Crawler4j无法AJAX爬网

Question

我正在尝试从基于ajax的网站下载数据。但是crawler4j不支持ajax爬行。我想使用crawler4j，但要使用此功能。我的项目是基于crawler4j的。我有任何办法做，请分享链接和片段。

Answer 1

通过MadEgg检查this拉取-请求-也许这将解决您的问题。您还可以参考项目页面上的the related issue来强调在crawler4j框架中进行AJAX爬行的必要性。