Azure架构实现思想
我们在Azure上为我们的客户设计了一个数据架构，在这个架构中，我们将源代码摄取到一个由Azure SQL数据库组成的原始层。此Azure SQL数据库充当源镜像，并启用了近实时同步。
我们还有一个ODS层，它是根据给定的数据模型从前面提到的Azure SQL数据库(源镜像)填充的。理想情况下，该层的加载时间应该在30分钟到1小时之间。
我可以知道如何处理来自原始层(Azure SQL数据库、源镜像)的并发写入和读取吗？它每5分钟与源代码同步一次，但也每30分钟读取一次-对于ODS层为1小时。
我必须使用Azure Data Factory来实现数据加载
回答 1
Stack Overflow用户
发布于 2021-09-24 05:56:39
是的，Azure Data Factory platform最适合这样的场景。它是一个基于云的ETL和数据集成工具，允许您构建数据驱动的流程，用于管理大规模的数据传输和数据转换。您可以使用Azure Data Factory来设计和计划数据驱动的流程(也称为管道)，这些流程可能会消耗来自各种来源的数据。使用数据流或计算服务，如Azure ETL Hadoop、Azure Databricks和Azure HDInsight数据库，您可以设计复杂的HDInsight流程，以图形方式转换数据。
使用控制流时，您可以使用GetMetadata活动获取存储帐户中的文件列表，然后将该列表传递给for each活动，并将顺序标志设置为false，以便根据for each循环中定义的活动并发(并行)处理最大批处理大小的所有文件。
这是微软的Azure Datafactory连接器概述| Docs的官方文档
https://stackoverflow.com/questions/69295091
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号