首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >加速azure数据工厂中的拷贝任务

问加速azure数据工厂中的拷贝任务
EN

Stack Overflow用户
提问于 2019-06-25 16:56:28
回答 1查看 126关注 0票数 0

我有一个复制作业,应该在两个Azure DataLake之间复制100 GB的excel文件。

代码语言:javascript
复制
 "properties": {
        "activities": [
            {
                "name": "Copy Data1",
                "type": "Copy",
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "typeProperties": {
                    "source": {
                        "type": "AzureDataLakeStoreSource",
                        "recursive": true,
                        "maxConcurrentConnections": 256
                    },
                    "sink": {
                        "type": "AzureDataLakeStoreSink",
                        "maxConcurrentConnections": 256
                    },
                    "enableStaging": false,
                    "parallelCopies": 32,
                    "dataIntegrationUnits": 256
                },
                "inputs": [
                    {
                        "referenceName": "SourceLake",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "DestLake",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],

我的吞吐量大约是4 MB/s。当我读取here时,它应该是56 MB/s。我应该怎么做才能达到这个吞吐量?

EN

回答 1

Stack Overflow用户

发布于 2019-06-27 15:26:41

您可以使用Copy actives Performance tuning来帮助您通过copy活动调整Azure数据工厂服务的性能。

摘要

请执行以下步骤,通过复制活动调整Azure Data Factory服务的性能。

  1. 建立基准。在开发阶段,通过使用针对代表性数据样本的复制活动来测试您的管道。根据copy activity monitoring.
  2. Diagnose收集执行详细信息和性能特征,并优化性能。如果您观察到的性能不能满足您的期望,请确定性能瓶颈。然后,优化性能以消除或减少瓶颈的影响。

在某些情况下,当您在Azure Data Factory中运行复制活动时,您会在复制活动监控页面顶部看到一条“性能调整提示”消息,如以下示例所示。该消息将告诉您为给定拷贝运行确定的瓶颈。它还指导您如何更改以提高拷贝吞吐量。

您的文件大小约为100 GB。但是基于文件存储的测试文件是大小为10 GB的多个文件。性能可能会有所不同。

希望这能有所帮助。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56750276

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档