我创建了数据工厂管道,将初始和增量数据从Az MySql数据库加载到Data Lake中。
将数据从MySql加载到数据湖的初始管道都很好。作为.parquet文件持久化。
现在,我需要通过一些基本的类型转换将它们加载到SQL Server表中。最好的方法是什么?
Databricks =>挂载这些.parquet文件,标准化并加载到SQL Server表中吗?
或者我可以在Azure上的SQL Server中创建这些文件的外部源并执行标准化。我们还不在Synapse (dwh)上。
还是有更好的方法?
发布于 2020-05-01 13:58:22
由于您已经在使用ADF,因此可以探索映射数据流。https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-overview
https://stackoverflow.com/questions/61334626
复制相似问题