在Django中使用Scrapy DjangoItem的最佳方式

Question

我是Django / Scrapy的新手，对编程也很熟悉。我正在试着做一个Django网站来帮助我学习。

我想做的是从不同的网站抓取产品信息，并使用来自Scrapy的DjangoItem将它们存储在我的postgres数据库中。

我已经阅读了Scrapy和Django的所有文档。我已经在这里和其他网站搜索了几天，就是找不到让灯泡熄灭的确切原因。

不管怎样，我的问题是，同时部署Scrapy和Django的标准是什么？理想情况下，我想刮5-10个不同的网站，并在我的数据库中存储他们的信息。

Scrapy的文档中关于实现DjangoItem的最佳方法的信息有点少。

1) Scrapy项目应该在我的Django应用程序内部，在我的Django项目的根级别，还是一起放在外部。2)除了将DjangoItem设置为我的Django模型之外，我还需要更改其他设置吗？

谢谢，布莱恩

Answer 1

我通常将我的scrapy项目放在Django项目根文件夹中的某个位置。请记住，您需要确保这两个项目都在python路径中。如果您正确地使用了virtualenv，这很容易做到。

除此之外，只要你可以从Scrapy导入你的Django模型，我认为Scrapy文档中的其他一切都是非常清楚的。当你导入你的Django模型时，Django设置已经设置好了，这意味着你的数据库连接等应该都可以正常工作，只要它们已经在Django中工作。

唯一真正的技巧是正确设置python路径(这可能是另一个问题的主题)。