浅谈Azure表中批量操作的重试

Question

我正在尝试通过Azure将数据从Azure数据湖存储到Azure表。Azure数据列表文件中的数据与最终Azure表接收器中的数据处于相同的架构中。

ADF管道由从Azure数据湖存储区复制到Azure表的单个复制活动组成。但ADF管道有时由于节流而失败。我负担不起重新运行完整的管道，因为它需要几个小时。

我只想重试失败的批次。但我不认为这是在Azure表中提供的选项。

我发现SinkRetryCount和SinkRetryWait是AzureTableSink类的两个参数，但我猜(因为文档没有正确地提到)，这将是整个管道的参数。

我有两个问题：

1. SinkRetryCount和SinkRetryWait实际上是什么意思？
2. 如果批处理通过设置参数或在ADF管道中生成不同的活动图而失败，是否有方法重试它？

Answer 1

你试过以下几种方法：

• 如果您的流程确保一个干净的状态作为第一步，类似于命令设计模式的撤消(但更天真)，那么您的流程可以重新执行。

- With #1, you can safely use “retry” in your pipeline activities, along with sufficient time between retries.
- this is an ADFv1 or v2 compatible approach

​

参考资料：https://learn.microsoft.com/en-us/azure/data-factory/v1/data-factory-create-pipelines

• 如果是ADFv2，那么您有更多的选项，可以有更复杂的逻辑来处理错误：

- for the activity that is failing, wrap this in an until-success loop, and be sure to include a bound on execution.  
- you can add more activities in the loop to handle failure and log, notify, or resolve known failure conditions due to externalities out of your control.

​

• 您还可以使用异步通信来执行将来的流程，从而将成功保存到中央存储区。然后，执行“如果”我已经成功，然后停止处理之前的活动。

- this is powerful for more generalized pipelines, since you can choose where to begin

​

检查重试在ee重试在https://learn.microsoft.com/en-us/azure/data-factory/data-factory-create-pipelines。

Retry: Number of retries before the data processing for the slice is marked as Failure. Activity execution for a data slice is retried up to the specified retry count. The retry is done as soon as possible after the failure.

希望能帮上忙。