node.js，JS中的Webscraper修改了DOM

Question

我正在试着写一个网络高楼大厦，以获得一些销售线索。问题是，在现代网页设计中，大多数网站都使用一些JavaScript来修改DOM (通常使用React、Angular，甚至是一些jQuery)。问题是，如果我用request node.js包销毁一些网站，并将html代码传递给cheerio，那么我就无法解析代码并获得我想要的信息。相反，我看到的只是一些React.js组件‘_ツ_/’有关此主题的任何资源都将是有帮助的，提前谢谢。

Answer 1

因为request包不会执行页面上的任何javascript。它将按原样下载html。如果你想像浏览器一样看到实际的页面，你必须创建一个javascript解析器，在你想要的状态下执行所有的javascript代码。

幸运的是，这里还有一些其他的选择：

• 你可以查看你想要抓取的网站上的开发人员工具，并尝试找到获取你需要的数据的xhr请求。然后你可以直接调用这个url，
• ，你可以使用像PhantomJS或者CasperJS这样的无头浏览器抓取。这些包将尝试使用所包含的javascript资源尽可能好地修改下载的dom。