数据流

Question

我是大数据处理的新手，我正在阅读有关流处理和构建数据管道的工具。我找到了Apache和Spring数据流。我想知道它们的主要区别和利弊。有人能帮我吗？

Answer 1

它们是两个完全不同的工具。

弹簧数据流是一个用于构建数据集成和实时数据处理管道的工具包.此工具将帮助您使用Spring (流或任务)编排数据管道。在遮罩下，SCDF可能使用Spring批处理。请注意，Spring可以调用Spark或Kafka应用程序来支持流处理。

阿帕奇火花是数据处理的引擎，它被广泛应用于数据密集型处理和数据科学领域。它拥有诸如ML (机器学习)、图(图形处理)、与阿帕奇卡夫卡 (星火流)的集成等库。

对于流媒体，我强烈建议您学习Apache。

Answer 2

正如在https://dataflow.spring.io/docs/concepts/architecture/#comparison-to-other-architectures中提到的

与其他建筑的比较 Spring数据流的体系结构风格不同于其他流和批处理平台。例如，在Apache、Apache和中，应用程序运行在专用的计算引擎集群上。与Spring数据流相比，计算引擎的特性为这些平台提供了对数据执行复杂计算的更丰富的环境，但它引入了创建以数据为中心的应用程序时通常不需要的另一个执行环境的复杂性。这并不意味着当您使用Spring数据流时无法进行实时数据计算。例如，您可以开发使用Kafka Streams API的应用程序，该API具有时间滑动窗口和移动平均功能，以及根据一组参考数据连接传入消息。