我有一个复制作业,应该在两个Azure DataLake之间复制100 GB的excel文件。
"properties": {
"activities": [
{
"name": "Copy Data1",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"typeProperties": {
"source": {
"type": "AzureDataLakeStoreSource",
"recursive": true,
"maxConcurrentConnections": 256
},
"sink": {
"type": "AzureDataLakeStoreSink",
"maxConcurrentConnections": 256
},
"enableStaging": false,
"parallelCopies": 32,
"dataIntegrationUnits": 256
},
"inputs": [
{
"referenceName": "SourceLake",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "DestLake",
"type": "DatasetReference"
}
]
}
],我的吞吐量大约是4 MB/s。当我读取here时,它应该是56 MB/s。我应该怎么做才能达到这个吞吐量?
发布于 2019-06-27 15:26:41
您可以使用Copy actives Performance tuning来帮助您通过copy活动调整Azure数据工厂服务的性能。
摘要
请执行以下步骤,通过复制活动调整Azure Data Factory服务的性能。
在某些情况下,当您在Azure Data Factory中运行复制活动时,您会在复制活动监控页面顶部看到一条“性能调整提示”消息,如以下示例所示。该消息将告诉您为给定拷贝运行确定的瓶颈。它还指导您如何更改以提高拷贝吞吐量。
您的文件大小约为100 GB。但是基于文件存储的测试文件是大小为10 GB的多个文件。性能可能会有所不同。
希望这能有所帮助。
https://stackoverflow.com/questions/56750276
复制相似问题