注入Azure中的-> Transform -> Process -> Stage工具

Question

我不使用数据库，所以我想在开始之前确认一下最佳实践。我得到了一个项目，在那里我应该获取一些不同建模的数据文件，对它们进行处理，并显示一些标准的报告。

它将是批量摄取，可以是每周或每天最多。我们将使用的云是Microsoft Azure。根据我的开发经验，我正在考虑以下工具来完成这项工作。但我想从你们那里得到一些建议：

->摄取和stage =>编写了一个rest api，该api获取数据并将其存放在Elastic中

->正在处理-> Azure HDInsight..我没有用过它，但从简短的阅读来看，这听起来像是推荐的选择。

->暂存并将->报告回弹性搜索，使用Kibana/Graphana。我使用过这些工具，所以我更喜欢它。

我还读了一些推荐Azure Data Factory的文章。期待着做一些建议。

你好，高拉夫·夏尔马

Answer 1

对于摄取，您可以使用Data Factory，它支持使用WebActivity调用rest api。https://docs.microsoft.com/en-us/azure/data-factory/control-flow-web-activity

对于处理，您是否考虑过将数据存储在data Lake Store中并使用U-SQL进行转换？我之所以提到这一点，是因为你可能跳过了考虑它。https://docs.microsoft.com/en-us/azure/data-lake-analytics/

对于报告，微软提供了Power Bi，它可以连接到包括rest API在内的许多来源。它可能对您有用，也可能对您没有用处，这取决于您项目的要求。https://app.powerbi.com

希望这能有所帮助！