为什么我的Crawler会得到错误的HTML代码？

Question

我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。

然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。

我能做些什么来获得包含全部内容的HTML代码吗？

请求网址：BwE

Answer 1

当这个网站动态加载内容时，您无法获得正确的jsoup代码。

该网页动态加载代码，即加载初始内容，然后执行其他代码来加载其他内容。jsoup仅仅是一个HTML解析器，这意味着它可以通过给出的各种内容进行解析。它不能执行Javascript或等待外部文件加载。

要抓取这样一个网站，你可能需要一个自动浏览器的种类。我个人在Python中使用Selenium来抓取动态加载的网站。