如何提高Azure数据工厂的复制活动吞吐量

Question

我有一个管道，包含多个复制活动(23)，从parquet到azure。我正在经历低拷贝吞吐量(23 to /s)，有什么方法来改善这一点吗？

集成运行时是蔚蓝的，而不是自托管的IR。

Answer 1

数据集成单元(，DIU)是表示Azure数据工厂和Synapse管道中单个单元的功率的度量。Power是CPU、内存和网络资源分配的组合。DIU只适用于Azure集成运行时。DIU不适用于自托管集成运行时。

更多细节：https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance

Answer 2

和另一个答案一样，增加DIUs是增加复制活动吞吐量的主要方法。

您可以尝试不同的DIU设置来调优复制活动，并查看所获得的性能。当我这样做的时候，我已经确定了我的副本的最大DIU。使用两倍的DIUs成本每小时两倍，但使它两倍的速度，所以它不是更昂贵。

如果增加DIU不能提高您的性能，这可能与您的“源”和“接收器”中的设置有关。你的拼花文件的“来源”是什么？您的蔚蓝sql接收器能够处理所有的写操作吗？