如何抓取浏览器用户代理和cookie并使用cURL发送

Question

我想抓取一个页面。但问题是这个页面是经过登录身份验证的。那么有没有办法使用浏览器信息呢。就像我使用我的用户名和密码登录，然后创建一个脚本从我的浏览器使用这些信息。

Answer 1

您可能希望使用CURLOPT_COOKIEFILE和CURLOPT_COOKIEJAR。张贴您的凭据登录到该网站，您应该能够爬行网站。