使用现有浏览器进行Web抓取

Question

我正在尝试从网站获取数据，但我需要先登录才能看到它。我想使用打开的浏览器运行我的源代码，我的帐户已经登录到特定的网站上。这有可能吗？

Answer 1

是的，有可能是。您需要结合使用selenium和chrome开发工具。该方法将生成一个chrome实例，在该实例中，您必须在第一眼看到时手动登录站点。然后，当您需要执行某些任务时，实例将在被selenium脚本调用时直接打开。

Condition：该站点必须具有记住您的登录信息的功能。(例如，Youtube、Instagram、Twitter、Facebook .etc。)即使浏览器退出，这些站点也会记住您的登录。某些站点可能没有此功能。

有关更多说明，请查看

Youtube视频- https://www.youtube.com/watch?v=FVumnHy5Tzo&ab_channel=HelloWorld

- https://stackoverflow.com/a/57001041/9807249后的堆栈溢出

Chrome开发工具- https://chromedevtools.github.io/devtools-protocol/

我使用这个技术自动复制youtube的视频。