数据库如何处理来自EventHub的传入消息？

Question

作为实时连续数据处理场景的新手，您想知道传入的连续消息序列是如何通过databricks处理的，这些消息是逐个顺序处理还是并行处理？

谢谢。

Answer 1

实现这一点的一种方法是使用Spark on Databricks从EventHub获取数据。这是通过使用消息队列来完成的。如果只有一个消费者用于从队列中读取，则将按顺序处理消息。但是，如果使用多个使用者，则可以并行处理多个消息。

请查看以下示例以了解更多信息：

• https://lenadroid.github.io/posts/connecting-spark-and-eventhubs.html
• https://docs.microsoft.com/en-us/azure/azure-databricks/databricks-stream-from-eventhubs