如何在python中发送带有scrapy或request的if-none-match头部？

Question

我正在用Scrapy抓取一个站点，但它的一些API没有返回JSON数据，而没有'if-none-match‘头。

我有超过100个API的列表，所以我想生成自动的头文件来获得一个有效的JSON文件。任何人都知道如何处理它，或者有任何其他方法可以摆脱它。

提前谢谢。

Answer 1

如果您想为所有请求定义headers，可以使用the DEFAULT_REQUEST_HEADERS setting：

# settings.py
DEFAULT_REQUEST_HEADERS={
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'If-None-Match': '*',
}

或针对个人请求的the headers parameter：

req = scrapy.Request(url, callback=self.parse, headers={'If-None-Match': '*'})