使用Azure数据工厂不分阶段地将数据从Azure数据湖复制到SnowFlake

Question

Azure Data将数据从2复制到SnowFlake的所有示例都使用一个存储帐户作为平台。如果没有配置这个阶段(如图所示)，即使我的源是Azure数据湖中的csv文件，我也会在dataset中得到此错误--“只有当源数据集为DelimitedText、Parquet、JSON以及Azure Blob存储或S3 S3链接服务时，才支持将数据直接复制到雪花片，对于其他数据集或链接服务，请启用暂存”。

​

同时，SnowFlake文档表示外部阶段是可选的。如何在没有外部存储帐户的情况下使用data的复制数据活动将数据从Azure数据湖复制到SnowFlake？如果需要进行暂存以使其正常工作，那么我们不应该说支持从data到SnowFlake的数据复制。它只有在数据湖数据首先被复制到存储blob中，然后被复制到SnowFlake时才能工作。

Answer 1

虽然雪花支持blob存储，数据湖存储Gen2，通用v1 & v2存储，只支持通过blob存储将数据加载到雪花中。

源链接服务是具有共享访问签名身份验证的Azure Blob存储。如果希望以以下受支持的格式直接从Azure data Gen2复制数据，则可以使用针对ADLS Gen2帐户创建具有SAS身份验证的Azure Blob链接服务，以避免使用分段复制到雪花。

选择链接服务中的Azure blob存储，提供SAS Azure data lake gen2源文件的详细信息。

Blob存储链接服务与数据湖gen2文件：

​

​

​

​

​

​

​

​

​

​

Answer 2

您必须配置blob存储，并将其用作暂存。作为一种选择，您可以使用外部阶段。您必须创建文件类型和通知集成，并使用copy命令访问ADLS并将数据加载到雪花中。如果你需要更多的帮助，请告诉我。