Cleo (linkedin的自动补全解决方案)是否适用于数十亿个元素？

Question

Cleo有几种不同类型的先行搜索，它们有一些非常聪明的索引策略作为后盾。GenericTypeahead可能适用于最大的数据集。来自http://sna-projects.com/cleo/design.php：“GenericTypeahead是为大型数据集设计的，它可能包含数百万个元素……”不幸的是，文档并没有详细介绍Typeahead的可扩展性。有没有人使用Cleo来处理可能有一些洞察力的非常大的数据集？

Answer 1

Cleo用于单个实例/节点(即单个JVM)，并且没有任何路由或代理逻辑。在单个Cleo实例中，您可以使用多个逻辑分区来利用多核CPU。在32G - 64G内存的普通商用机箱上，通过设置2到3个Cleo GenericTypeahead实例，您可以轻松支持数千万个元素。

要支持数十亿个元素，您必须使用水平分区在许多商品盒上设置许多Cleo实例，然后进行分散和聚集。

查看https://github.com/jingwei/cleo-primer，了解如何在几分钟内设置单个Cleo GenericTypeahead实例。

干杯。