如何抓取不在html源中但在浏览器中可见的数据？

Question

我想要的数据在浏览器中是可见的，但我无法从html源代码中找到它。我怀疑数据是由脚本生成的。我想对这样的数据进行评分。可以使用Jsoup吗？我知道Jsoup不会执行Javascript。

以学院为例，我想要抓取学院和学校下的所有学院和学校。我想要获取所有学院和学校下的学院和学校。

Answer 1

如果dom内容是通过脚本或插件生成的，那么您真的应该考虑使用像phantomjs这样的可脚本化浏览器。然后，您可以只编写一些javascript来提取数据。

我没有检查你的链接，我假设你正在寻找一个不特定于任何页面的通用答案。