为运行服务器的大型XML数据库(10 of 1TB数据)创建在线搜索引擎

Question

我一直在使用Node.js创建一个网站，最终将能够搜索谷歌专利授权数据库，提供数据的XML格式。我一直在使用MongoDB作为用户数据库，但是有人告诉我，他们在使用MongoDB创建一个快速搜索引擎时遇到了很多困难，他们还说它变得非常大。我应该与Node.js一起使用什么数据库技术/软件来创建一个高效的搜索引擎？如果一个网站运行两种不同的数据库技术，例如MongoDB和PostgreSQL，会不会是个坏主意？我在github https://github.com/fergiemcdowall/norch上发现了一种叫做Norch的技术。这项技术会有帮助吗？

Answer 1

在使用Postgres或mongodb进行文本搜索时，您将很难匹配或击败lucene。因此，Solr或Elasticsearch是更好的选择(它们都使用lucene)。

也就是说，大多数人仍然将数据存储在搜索索引之外的其他内容中，从而实现了搜索索引和数据存储库之间的某种同步。

基于评论的编辑：

Solr和Postgres就是一个例子组合。Solr将成为您的搜索引擎，Postgres将成为您的数据存储库。然后，您可以使用DataImportHandler从Postgres中提取数据。

Answer 2

这里是诺奇的作者。

目前，Solr和Elasticsearch可能是最常用的搜索技术，并且有充分的理由--它们现在非常成熟、强大和用户友好。

Norch非常适合于以下情况：

1. 如果您需要技术堆栈是javascript，那么java (solr，elasticsearch)就退出了。Norch允许您在javascript上运行所有内容。
2. 如果你想在真正低端的硬件上运行搜索引擎。Norch的系统要求非常低，特别是对于较小的数据集。
3. “离线第一”网页。Norch允许您将搜索索引复制到用户浏览器中。人们仍在思考做这件事的最佳方式是什么，以及什么时候做得最好，但这种将自己轻松复制到客户机器上的能力使诺奇公司有别于竞争项目。
4. 如果你有一个你想要分享的语料库。您可以将它们索引到Norch，复制和共享复制文件，而不是共享100万个文件。你可以给它发电子邮件，洪流，或者把它放到网上。Norch很擅长复制索引。

还有一些其他角落的情况，诺奇是好的/最好的-但以上提到的是主要的。