比较druid和pipelinedb

Question

我一直致力于流数据的聚合，我找到了两个工具来实现同样的效果。他们是德鲁伊和流水线。我已经了解了两者的实现和架构。但找不到一种方法来衡量这两个。是否已经完成了任何现有的基准测试？或者，如果我想做一个自己的基准测试，除了速度和可伸缩性之外，我需要考虑的所有因素是什么。任何想法，链接和帮助都将是非常有用的。也请分享您自己使用pipelinedb和druid的经验。

谢谢

Answer 1

更新：

看过PipelineDB页面后，我只是想知道为什么需要比较如此不同的东西？

Druid的安装和维护相当复杂，它需要几个外部依赖项(例如zookeeper和hdfs/amazon，这也必须进行维护)。

以这个价格，您可以购买druid的关键功能：column-oriented和分布式存储和处理。这也意味着水平可伸缩的开箱即用，而且它是完全自动的，你甚至不需要考虑它。

所以如果你不需要它的分布式特性，我会说你根本不需要德鲁伊。

第一个版本：

我没有使用pipelinedb的经验(它是什么？谷歌没有显示什么，请分享一些链接)，但我有很多使用德鲁伊的经验。所以我会考虑(除了查询速度和可伸缩性)：

1. 注入性能(每秒多少行/分钟/小时/...可以插入吗？)插入的
2. 内存消耗(目标speed?)
3. compression级别需要插入多少内存(一小时/天/月需要多少磁盘空间/...data?)
4. fault-tolerance (当一些组件发生故障时会发生什么？这对我的business?)
5. Caching (只需记住)

至关重要