带有grequests的POSTing和GETing

Question

我正在使用G请求书来更快地浏览网站。不过，我也需要登录到网站。

在(仅仅使用请求)之前，我可以这样做：

headers是我的User-Agent。

with requests.Session() as s: 
    s.headers.update(headers)
    s.post(loginURL, files = data)
    s.get(scrapeURL)

使用grequests，我只能通过以下操作传递headers：

rs = (grequests.get(u, headers=header) for u in urls)
response = grequests.map(rs)

同时做一个POST，这样我就可以登录了吗？登录URL与我要删除的URL不同。

Answer 1

您可以传递与标头完全相同的会话对象。

with requests.Session() as s: 
    s.headers.update(headers)
    s.post(loginURL, files = data)
    s.get(scrapeURL)


    rs = (grequests.get(u, headers=header, session=s) for u in urls)
    response = grequests.map(rs)

Answer 2

首先登录会话，然后显式地将它传递给grequest，如下所示：

requests = []
for url in urls:
    request = grequests.AsyncRequest(
        method='GET', 
        url=url, 
        session=session,
    )
    requests.append(request)