什么是流处理和卡夫卡流的外行术语？

Question

要理解什么是kafka-streams，我应该知道什么是stream-processing。当我开始在网上阅读它们的时候，我无法理解一个整体的画面，因为它是一棵连接到新概念的永无止境的树。

谁能用一个简单的现实世界的例子来解释stream-processing是什么呢？

以及如何将其与kafka-streams与生产者消费者体系结构联系起来？

谢谢。

Answer 1

流处理

流处理基于无界事件流的基本概念(与我们通常在关系数据库中发现的静态有界数据集形成对比)。

考虑到这些不受限制的事件，我们经常想用它来做些什么。无限的事件流可以是来自传感器的温度读数、来自路由器的网络数据、来自电子商务系统的订单，等等。

​

​

让我们想象一下，我们想要获取这个无限的事件流，也许它的制造事件来自一家工厂，关于正在制造的“小部件”。

我们希望根据“小部件”的特性过滤该流，如果它是red，则将其路由到另一个流。也许我们将使用这个流来报告，或者驱动另一个只需要响应red widgets事件的应用程序：

​

​

简单地说，这就是流处理。流处理用于执行以下操作：

• 过滤流
• 聚合(例如，一个字段在一段时间内的和，或给定窗口中的事件计数)
• 充实(在事件流中派生值，或加入到另一个流中)

正如您所提到的，有大量关于这方面的文章；不想再给您提供另一个链接，我建议使用这一个。

卡夫卡流

Kafka流作为Apache的一部分提供的流处理库。您可以在Java应用程序中使用它来进行流处理。

在上面的示例中，如下所示：

​

​

Kafka流建立在Kafka生产者/消费者API之上，抽象出一些低层次的复杂性。您可以在文献资料中了解更多有关它的信息。