从Blob存储帐户到CosmosDb的复制活动非常缓慢

Question

情况：

我使用来自azure-data-factory的复制活动将一个json文件从500 MB从存储帐户-blob复制到CosmosDB，并从CosmosDb复制到存储帐户-blob。

AzureBlobStorageLinkedService配置了一个SAS。

时代：

CosmosDb到一个存储帐户-blob：4分钟

存储-帐户-blob到CosmosDB：2小时-超过7小时(超时)

CosmosDB：

在启动复制活动之前，将创建一个包含20.000 RU/s的空集合。我看了一下CosmosDB的度量标准，它真的很无聊。只有几个429个错误。我们有“默认索引配置”和一个partitionKey。这意味着我们有来自多个分区键范围(分区)的多个partitionKeys的数据。

数据：

在json文件中有48.000 json对象。有些是小，有些可以有200 KB。

尝试：

我尝试使用不同的WriteBatchSizes：

5: 2 hours

100: 2 hours

10.000: 7 hours (timeout)

我用相同的/不同的区域试过，=>没有区别

我尝试用较小的文件=> --它们更快(500 KB/s而不是50 KB/s)

问题：

为什么这么慢？500 MB的文件是不是太大了？

Answer 1

我尝试了非常高的吞吐量值，它运行得很好：

1.000.000 RU/s: 9 Minuten ✔
100.000 RU/s: 15 Minuten ✔

但是我必须考虑在数据传输完成后缩小规模，因为成本太高了！