Apache NiFi和StreamSets

Question

Apache NiFi比StreamSets慢吗？

我已经创建了一个管道，它从一个Kafka主题接收数据，然后在Apache NiFi和StreamSets中将数据转储到另一个Kafka主题中，但StreamSets比NiFi快得多。

我在NiFi中使用consumekafkaRecord处理器，在StreamSets中使用KafkaConsumer。

Answer 1

我对NiFi非常熟悉。我不认为NiFi在该特定场景中有任何优于Streamsets的优势，当仅从每个节点的速度来看时。NiFi被设计为处理任意的源和接收器，这意味着它通常不会也不应该假设源的任何事务行为。Kafka确实提供了一个很好的设计模式，可以抓取数据，做事情，将数据发送到kafka或其他地方，然后打包响应。这是一种越来越普遍和可伸缩的模式，NiFi社区正在推出一种NiFi-FN方法，使一般的数据分发情况和像这样的情况在NiFi中都是最佳的。当您查看耐用性、可靠性、数据和源/汇的多样性以及内置来源时，NiFi带来了大量非常重要的优势。如果你所需要的是性能，并且对于这种特定的情况，Streamsets更好，或者在这个问题上，我推荐Spark/Spark Streaming。如果您的需求超出了这里所描述的范围，并且专注于数据分发/数据流管理，那么NiFi绝对是最佳选择。