Azure数据工厂是否适合从非Azure REST下载数据？

Question

考虑如下数据处理管道：

1. 从托管在internet上的REST中获取大量数据，并将其保存到数据存储中。
2. 对持久化数据执行一些复杂的数据转换。
3. 在数据存储上持久化数据转换的结果。

为了在Azure中实现这样的管道，步骤2和步骤3似乎很适合作为Azure数据工厂活动来实现。

我的问题是-在Azure Data活动中实现步骤1也有意义吗？

从技术上讲，编写执行数据下载和持久性的.Net活动是可能的。

Answer 1

不-不要在Azure数据工厂活动中实现步骤1。

从技术上讲，使用ADF运行整个过程是可能的，但我认为这个选择比您可以使用的其他选项花费更大(相对来说)，因为您将使用为Azure数据工厂的每项活动支付费用。

例如，如果在启动(计划中的)活动时rest没有任何新的数据可供提供，怎么办？你会付出代价的。

您可能会认为以下是一个容易实现的替代方案:1-创建一个.NET控制台应用程序，发布为一个WebJob，计划每天运行。2-长期运行的控制台应用程序可以查询rest，将数据持久化到蔚蓝存储/ documentdb，将消息推送到队列中，这将触发ADF步骤2/3来针对保存的数据运行。

Answer 2

我正是使用.Net活动做到了这一点。我需要从Salesforce中获取数据。这件事对我的需要很有帮助。这里是我写的一篇关于创建.net活动并将数据存储在蔚蓝数据湖中的文章。

就像Newport99 99的回答一样，是的，你会为此付出代价，但我不确定运行一个单独的web应用程序来主持一个网络作业以及运行Azure Data管道会有什么成本效果。当我最初设计一个解决方案时，WebJob是我的第一选择，但最终我更喜欢使用一个蔚蓝服务而不是多个解决方案。

希望这能有所帮助。

Answer 3

自从这个问题发布以来，ADF已经有了很多改进，包括REST连接器。这是ADF推荐的方法.

使用Azure data从REST端点复制数据