爬行url \如何在node.js中获取动态链接

Question

我正在使用js爬虫来抓取网站，现在我遇到了CNN，它的登陆页面链接在里面。的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？

Answer 1

把我的评论变成一个回答：

抓取由客户端Javascript生成的内容是一个复杂的问题，甚至连Google都没有完全解决。

真正做到这一点的唯一方法是使用某种无头浏览器，在服务器上安全地进行沙箱，将页面加载到类似浏览器的环境中，在该环境中，它可以运行自己的脚本并生成自己的内容，然后您可以检查产生的DOM。

即便如此，它也不一定会生成需要用户交互的内容(比如单击选项卡以显示某些内容)。