Solr分面搜索性能建议

Question

我们有一个包含86,315,770个文档的solr实例。它使用了高达4 4GB的内存，我们需要它在一个名为content的标记化字段上进行分面。磁盘上的索引大小为23 is。

为什么我们要在一个标记化的字段上进行切面？因为我们想要查询该字段中最常用的前"n“个术语。问题是执行这样的查询花费了太长的时间。有没有办法在像这样做刻面时缩短时间？有什么建议吗？

提前谢谢。

Answer 1

由于Solr在内存数据结构上计算facet，因此facet计算很可能是受CPU限制的。计算面的代码已经进行了高度优化( UnInvertedField中的多值字段的getCounts方法)。

一个想法是将计算并行化。也许最简单的方法是将集合拆分成几个分片，如Do multiple Solr shards on a single machine improve performance?中所述。

否则，如果您的术语字典足够小，并且查询可以采用有限数量的形式，您可以设置一个不同的系统来维护每个(术语，查询)对的计数矩阵。例如，如果您只允许术语查询，这意味着您应该维护每对术语的计数。注意，这将需要大量的磁盘空间，这取决于术语和查询的总数。如果您不要求计数准确，也许最简单的方法是在批处理过程中计算这些计数。否则，它可能是(可能的，但)有点棘手，以保持计数与Solr同步。

Answer 2

您可以使用LukeRequestHandler的topTerms特性。