Azure IotHub到火花结构流到COSMOS DB ( wo Kafka和wo Kafka)

Question

1. 对于第一个场景，我希望在入口使用带有Iot集线器的Spark结构化流，在输出中使用Cosmos DB。我使用了以下连接器：
   • 天青-火花_2.11-2.3.2
   • azure-cosmosdb-spark_2.3.0_2.11-1.2.0 (不直接与Maven，通过进口uber jar )

​

事实上，当我试图将数据导入Cosmos DB时，我重复了以下错误：

"java.lang.assertionError :断言失败:接收到的序列号1790与请求序列号1791不匹配“

1. 与Kafka :我尝试了另一个解决方案，使用物联网集线器和卡夫卡，因为使用卡夫卡作为来源火花结构化流(而不是事件中心连接器)。但是，在完成了关于Kafka的所有配置之后，我有以下错误：

“未能找到实现连接器且名称与com.microsoft.azure.iot.kafka.connect.source.IotHubSourceConnector”.匹配的任何类

别名有问题。你认为这是否属于这样一个事实:我们正在使用物联网中心而不是事件中心？

=> I将尝试第三种解决方案，即使用Streaming进入Cosmos DB，然后实现Cosmos DB变更源，将其作为入口应用于火花结构化流。希望这能成功。

任何关于上述方案的任何建议都是非常欢迎的！

Answer 1

对于第一个场景:您可能希望尝试2.3.4版本(azure-eventhubs-spark_2.11-2.3.4)，它应该解决这个特定的问题，正如Dev团队在这里所述：

https://github.com/Azure/azure-event-hubs-spark/issues/313

还有这里

https://github.com/Azure/azure-event-hubs-spark/pull/384

Answer 2

我正在和@Tidjoe合作，现在解决方案正在起作用。

这是我们正在使用的连接器：

• 天青-火花_2.11-2.3.4
• azure-cosmosdb-spark_2.3.0_2.11-1.2.0 (不直接与Maven，通过进口uber jar )

我们的解决方案是在入口处与Eventhub或IotHub合作。

谢谢你的释放！