如何在nodejs中从外部url检索DOM对象

Question

我需要创建来自不同网站的随机文本数据库，以做我的模块，在句子上工作的测试。我得到的句子越多越好，因为我可以在算法中预测和覆盖的案例越多。我已经开始手动操作了，但我花了8个小时才检索到500页的文本，效率不是很高。

我想知道是否有可能将网站加载到一些npm模块中，这样我就可以获得这个网站的DOM对象，然后使用JS从eg中检索文本。<p>, <h1-6>, <li>元素。在web浏览器中，在F12 devTools窗口中可以访问DOM。有没有可能用一些桌面npm包访问DOM？

我所知道的是，没有可能将外部网站的DOM加载到iframe中。如果从桌面使用nodeJS呢？

Answer 1

好吧，如果我正确理解了你的问题，我认为这似乎是web scraping，并将DOM元素和下面的东西放在它下面，如果是这样的话，你可以使用npm模块来做web抓取工作，这是非常著名的npm模块。

1. Cheerio:这是jQuery的服务器端版本，如果你熟悉jQuery，使用它会很方便，而且它轻量级且使用起来很灵活。基本上，在获取远程内容(ajax请求或任何http请求)之后，可以像jQuery中的dom选择一样解析远程内容，这样做的一个缺点是，它不能获取发生在网站或页面上的动态内容。

2. JSDom:这是最接近headless的浏览器，它在页面或DOM上提供了紧密的表示，它使用websockets返回页面上的内容，也返回页面上更新的动态内容