每隔5分钟向作为POST请求参数传递的URL发送统计数据

Question

我需要将爬虫统计信息发送到作为爬虫参数传递的URL。我需要每隔5分钟定期发送一次POST请求。我该怎么做呢？

Answer 1

您可能想要编写一个简单地每5分钟发出一次post请求的扩展。

你可以使用scrapy自己的机制(例如engine.download())，也可以使用不同的异步http客户端(例如treq)来发出这些请求。

如果你不确定如何组织你的扩展，你可以看一看logstats.py，它做了类似的事情，除了不通过http记录。

既然你正在写一个扩展，我建议你做一些url和interval设置，但这取决于你。