我正在尝试用Azure做实时分析,当我通过服务时,我已经看到Azure提供的三个服务是HDInsight(Kafka),Azure stream Analytics和Azure Events hub我必须使用哪些服务。我正在尝试从SQL服务器或twitter或其他地方实时流式传输数据,并将其存储在Azure数据仓库或data Lake中。
发布于 2019-07-12 01:17:29
为了回答高级问题,可以使用事件中心(包括事件中心Kafka)和HDInsight来摄取数据。第一个提供无服务器服务,第二个提供托管Kafka集群。
Azure Stream analytics专注于数据处理、转换和分析。您可以使用SQL查询来执行此操作,并从事件集线器(或IoT集线器)获取数据并将其移动到各种接收器,如SQL、SQL data Warehouse、Data Lake等。
要回答你的特定问题,你可以看看this tutorial,它展示了如何使用事件中心和流分析来处理推特数据。
此外,您还提到要从SQL Server获取数据?它是流数据吗?Azure Stream Analytics支持来自SQL的数据作为参考数据(用于丰富数据流的慢速移动数据)。您是否正在寻找可以执行ETL并定期将数据从SQL server移动到其他地方的工作?为此,Azure数据工厂或SQL Server Integration Services可能是一个很好的选择。
如果这回答了你的问题,让我知道,我很乐意给你更多的信息。
Jean-Sébastien (Azure Stream Analytics)
https://stackoverflow.com/questions/56986756
复制相似问题