我需要抓取一个网站,然而,它的内容是动态的。Python中有没有可以调用js函数的包?例如,假设我在JS中有一个链接和JS函数1、2和3,我应该在该网页上调用,并且在所有JS函数调用之后我需要最终的网页。
发布于 2019-02-12 12:09:13
执行客户端javascript可能会变得非常复杂,所以像用户一样在页面上运行所有javascript最可靠的方法是在无头模式下使用真正的浏览器。有一个专门针对Python的Python+Selenium组合,用于处理无头Chrome。如果你愿意用Python来交换Nodejs,一个更强大的工具集是Puppeteer+headless Chrome (它可以让你做比Selenium更多的事情)。还有一个早期的非官方的Puppeteer到Python的移植,但我还没有尝试过,也不能评论它是多么稳定的https://pypi.org/project/pyppeteer/
https://stackoverflow.com/questions/54642550
复制相似问题