使用Django构建搜索引擎的建议

Question

我是个网络爬虫新手。我要建立一个搜索引擎，爬虫保存Rapidshare链接，包括找到Rapidshare链接的URL…

换句话说，我要建立一个类似于filestube.com的网站

经过一些搜索，我发现Scrapy可以与Django一起工作。我试图查找有关nutch与Django集成的信息，但一无所获

我希望你能给我建这样的网站的建议…尤其是爬虫

Answer 1

最著名的可插拔应用是Django-Haystack，它允许你连接到几个搜索后端：

• Solr / Lucene兼容流行语的Apache foundation project
• Whoosh原生python搜索library
• Xapian另一个非常好的语义搜索引擎

haystack允许你使用一个看起来像Django自己的Queryset语法的API来直接使用这些搜索引擎(它们恰好都有自己的API和方言)。

如果你只是想要抓取工具，不管你要用什么工具：BeautifulSoup或Scrappy，你都要靠自己，编写python代码来解析你想要解析的东西，然后填充你的django模型。

这甚至可以是单独的python脚本，可以在commands.py模块中使用。

如果您有很多文件要搜索，您可能需要一个索引，它会频繁地重新构建，允许快速搜索，而不会命中django ORM。

使用Solr索引(例如)使您能够动态创建其他字段，比如基于真实模型字段的虚拟字段(例如:拆分作者的名字和姓氏，添加一个大写的文件标题字段，等等)

当然，如果你不需要快速索引，关键字增强或语义分析，你仍然可以在几个django模型字段上进行经典的全文搜索：

查看带有Django

• Django native QuerySet

的"__search('something')“字段lookup

• PostGreSQL-specific full text search

Answer 2

你查过DjangoItem了吗？这是一个试验性的Scrapy特性，但众所周知它是有效的