使用Java的Webscraping不提取服务器上的数据

Question

我正在使用java与webscrapers一起工作，我对其中一个有问题，因为当刮取器在服务器上运行时，来自站点的数据没有被提取出来，但是它在本地PC上工作。

我试图使用代理来检查服务器的域是否被禁止在我正在抓取的网站上，但这不是问题所在。

对我来说更令人困惑的是，网络刮板从网站中提取数据，而不是特定类型的数据(例如，我正在抓取一个网站，您可以在那里预订酒店，我可以从用户那里提取评论，他们给该酒店的日历等等，但不包括当天酒店的价格)。

我已经查过了：

• 网站上的html/css没有改变
• 我从他们的服务器上得到了200的回应
• 当我在本地测试程序而不是在服务器上测试时，酒店的价格就会被提取出来。
• 每次我使用不同的用户代理。

任何曾经做过网络刮刀的人都对这个问题有什么想法？

Answer 1

很可能，酒店的价格，或者你无法浏览的内容，都是由生成的。

不支持 JavaScript，它只会得到从服务器接收到的普通html，然后再被JavaScript操作。

验证这一点的最好方法是简单地print与Jsoup一起接收的html并检查内容。就像这样：

Document doc = Jsoup.connect(url).get();
System.out.println(doc.html());