通过MongoDB使用Storm bolt或Spark-streaming丰富数据

Question

我想创建一个Storm Spout，它从Apache Kafka的主题中读取数据，并将这些数据发送到连接到MongoDB的Storm bolt，并查询我从Kafka收集的消息以丰富数据。例如:我有一个personID (我是通过Kafka发来的消息得到的)，我想使用这个personID查询MongoDB中的个人地址。在我的MongoDB集合中，每个文档都有personID和地址。

有人能给我举个例子吗？一个使用Spark-streaming的例子也会很棒。

Answer 1

我会这样做：

1. 将您的所有数据流式传输到Kafka中，包括您的MongoDB富化源(地址等)。您可以使用Kafka Connect ( Apache Kafka的一部分)来完成此操作。请参阅本文:使用Kafka Streams或KSQL Streaming Data from MongoDB into Kafka with Kafka Connect and Debezium.
2. Perform您的数据丰富。Kafka Streams是Apache Kafka的一部分，是一个Java API。KSQL运行在Kafka Streams之上，并为您提供了一个SQL接口来声明流转换。你可以看到一个例子，包括joins，in this article。

1. [KSQL introduction](https://www.youtube.com/watch?v=illEpCOcCVg)
2. [Kafka Streams introduction](https://www.youtube.com/watch?v=Z3JKCLG3VP4)

​

1. (可选)如果要将生成的丰富数据存储在其他位置，请使用Kafka连接将其从Kafka主题流式传输到目标。