如何为Scrapy请求添加默认的errback

Question

我有一群蜘蛛是从我的基础蜘蛛遗传来的。我想要的是在请求失败时调用的一个错误。我不想改变我的蜘蛛，除了基本的蜘蛛。

我在这些蜘蛛中经常遇到的是ResponseNeverReceived异常，这就是为什么从来没有调用回调，也没有触发后续请求。

我希望对所有请求都有一个默认的回退，以便在出现twisted.web._newclient.ResponseNeverReceived或twisted.web._newclient.ResponseFailed这样的异常时，我可以触发一个不同的请求。

Answer 1

我是通过为基本蜘蛛启用的自定义中间件实现的。

我在中间件中使用的片段：

if hasattr(spider, 'default_errback') and request.errback is None:
    request.errback = spider.default_errback