Azure过程编排

Question

我在寻找关于流程编排的最佳实践的建议。为了给出一些上下文，我要编排以下任务：

1. 扩大Azure批处理池以提供足够的节点
2. 执行自定义.Net代码，该代码调用服务器来检索任务列表。这些任务每天都在变化。将这些任务排队到批处理池。
3. 在批处理池上执行每个任务(自定义.Net代码)。每个任务都在Azure存储帐户中创建数据。
4. 缩小批处理池，因为它不再是必需的。
5. 启动/扩大数据仓库
6. 将数据大容量导入数据仓库(预期将使用PolyBase和BCP的组合)。
7. 汇总数据并生成输出到Azure存储帐户。
8. 暂停/缩小数据仓库

我目前正在比较数据仓库和Runbook来执行上面的操作。

我发现Runbook在设计和运行时的可视化方面非常原始。

我发现数据仓库的视觉效果要好得多。然而，数据切片似乎是巨大的过度消耗。我只想让这个过程在每天早上8点执行。我不希望它在过去的几天里试图执行(例如，如果我修改了模板)。我希望数据仓库也能更好地处理故障/恢复过程中的活动。

这里是否还有其他我应该考虑的方法/建议？

谢谢大卫

Answer 1

这是个相当宽泛的问题，所以我会给出一个宽泛的答案.

Azure Data (ADF)当然可以完成上面列表中所需的大部分工作，只有几个例外/调整，如下所示。

批处理计算池缩放。这需要在服务中使用自动缩放功能在本地处理，并传递一个处理此问题的命令。ADF中没有一个活动可以直接设置它。

您在第3和第4点中提到的自定义.Net代码。您可以将这些代码编写为ADF自定义活动，然后传递给批处理服务执行。因此，允许ADF处理这些DLL等，而不是让其他东西创建批处理任务，ADF只执行它们。ADF会处理这一切的。

有关创建自定义活动的更多信息，请参见：https://www.purplefrogsystems.com/paul/2016/11/creating-azure-data-factory-custom-activities/

对于数据仓库，ADF具有开箱即用的功能，可以执行查询并允许将参数传递给存储过程等。

最后，对于DW扩展和暂停，我认为您需要在这里使用Azure自动化。我不知道在ADF中有什么东西可以提供这种级别的控制，除非你再次打破了.Net。

希望这能给你一个如何取得进展的方向。