如何设置Scrapy设置？

Question

我在http://doc.scrapy.org/en/latest/topics/settings.html上浏览了一些简陋的文档，但我对“指定设置”一节感到困惑。有人能用简单的英语描述一下如何实现设置吗？我最初以为这只是对settings.py进行修改，但事实似乎并非如此。我试图做一个下载延迟，因为我被阻止从我正在抓取的网站。谢谢!

Answer 1

好吧，这个描述有点令人困惑，但你是对的: settings.py是添加设置的正确文件。但是，有两个并行工作的设置：

DOWNLOAD_DELAY和CONCURRENT_REQUESTS_PER_DOMAIN。对于后者，默认值为8。因此，我会覆盖这两个，它应该可以工作。

要了解有关某些默认并发设置的更多信息，请参阅文档：http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests