为什么grequests.get()返回None？

Question

我正在尝试用Python自动获取一些供应商的MAC地址。我发现a website确实很有帮助，但我无法从Python中访问它的信息。当我运行以下命令时：

import grequests

rs = (grequests.get(u) for u in ['https://aruljohn.com/mac/000000'])
requests = grequests.map(rs)
for response in requests:
    print(response)

它打印None。有人知道怎么解决这个问题吗？

Answer 1

看起来问题就是没有在headers中设置user-agent。我能够request网站没有任何问题。我只使用了普通的python request，但它在grequests上应该工作得很好。我确实认为你可能想要找一个更活跃的库。非常活跃，我在使用aiohttp时有过一段美妙的经历。

import requests

from lxml import html

def request_website(mac):
    url = 'https://aruljohn.com/mac/' + mac

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    }
    r = requests.get(url, headers=headers)
    return r.text

response = request_website('000000')
tree = html.fromstring(response)
results = tree.cssselect('.results p')[0].text
print (results)