我现在正试图通过数据工厂将数据从cosmosdb复制到数据湖存储。
但是,其性能较差,约为100 GB/s,数据量为100+ GB,且不断增加。这将需要10+天来完成,这是不可接受的。
微软文档https://learn.microsoft.com/en-us/azure/data-factory/data-factory-copy-activity-performance提到,从cosmos到数据湖存储的最高速度是1MB/s,即使这样,性能仍然很差。
cosmos迁移工具不工作,没有导出数据,也没有问题日志。
usql可以提取外部源,但目前只支持Azure DB/DW和Server,不支持cosmosdb。
如何/哪些工具可以提高复制性能?
发布于 2017-07-12 09:04:36
根据您的描述,我建议您可以尝试设置较高的cloudDataMovementUnits以提高性能。
云数据移动单元(DMU)是表示数据工厂中单个单元的功率( CPU、内存和网络资源分配的组合)的度量。DMU可以用于云到云的复制操作,但不能用于混合副本。默认情况下,Data使用单个云DMU执行单个复制活动运行。若要重写此默认值,请为cloudDataMovementUnits属性指定一个值,如下所示。有关为特定副本源和接收器配置更多单元时可能获得的性能增益级别的信息,请参阅性能引用。
注意:仅当您将多个文件从Blob存储/数据湖存储/Amazon 3/云FTP/云SFTP复制到Blob存储/数据湖存储/Azure SQL数据库时,设置8及更高版本才能工作。
所以你可以设定的最大DMU是4。
此外,如果这个速度不符合你目前的要求。
我建议您可以编写自己的逻辑将文档数据库复制到数据湖。
您可以创建多个the作业,它们可以使用从documentdb到数据湖的并行副本。
您可以根据索引范围或分区转换文档,然后可以使每个then作业复制不同的部分。在我看来,这样做会更快。
关于dmu,我可以直接使用它还是应该先申请?你的意思是网络作业是dotnet活动吗?你能告诉我更多的细节吗?
据我所知,您可以直接使用dmu,可以在json文件中直接添加dmu值,如下所示:
"activities":[
{
"name": "Sample copy activity",
"description": "",
"type": "Copy",
"inputs": [{ "name": "InputDataset" }],
"outputs": [{ "name": "OutputDataset" }],
"typeProperties": {
"source": {
"type": "BlobSource",
},
"sink": {
"type": "AzureDataLakeStoreSink"
},
"cloudDataMovementUnits": 32
}
}
]网工可以在您的Azure应用程序中以WebJobs方式运行程序或脚本:按需运行、连续运行或按计划运行。
这意味着您可以编写一个C#程序(或使用其他代码语言)来运行程序或脚本,将数据从documentdb复制到数据湖(所有的逻辑都应该由您自己编写)。
https://stackoverflow.com/questions/45029228
复制相似问题