爬行受谷歌登录保护的网页

Question

我想抓取一个网站，是由谷歌的登录保护。例如，在https://groups.google.com上的私有组中，只有在我用Google帐户登录后才能看到线程。如何使代码自动化，以便它使用我的帐户进行身份验证，并从站点爬行HTML？此外，它如何检测登录过期，并重新登录？

Answer 1

最后我用幻影来爬行。