无法将Azure连接到Matillion

Question

我想从Azure Blob存储中获取文件，并使用Matillion工具将它们写到雪花表中。在Matillion中，缺省值是AWS。Azure几乎没有文档可供使用。我的Matillion帐户是合作伙伴通过雪花连接帐户。

我试着创建新的项目，并选择Azure。然后，在Azure，我创建了新的应用程序注册，并从那里获取客户ID和密钥。但是，当我在Matillion中输入所有这些信息时，它会显示- Blob存储:检查凭据。

我正在附上快照以供参考。

​

​

请告诉我如何连接Azure和Matillion。

Answer 1

我相信与Matillion在雪花合作伙伴连接，你总是得到一个AWS托管的实例。因此，如果您直接通过Matillion本身启动一个Azure托管的Matillion实例，您就不会找到Azure Blob存储负载组件。

相反，您需要遵循两个步骤：

1. 使用数据传输组件将文件从Azure Blob存储复制到AWS S3桶
2. 使用S3 Load组件将数据从S3复制到雪花

数据传输组件必须以某种方式对Azure进行身份验证，因此有一个先决条件(它看起来已经开始了)

转到项目/管理凭据对话框，并创建一个新的Azure用户定义的凭据.

​

​

..。设置

Information

• Client

• 租户ID:您可以从Active中找到并查看基本的Registration

• The ID:从您的应用程序Registration

• Secret密钥:从应用程序Registration

• The加密类型中的“证书和秘密”引用Registration

• The存储密码的方式。如果您有主密钥，可以使用编码或KMS。

必须确保在按时收到"Blob : success“消息。看来这就是你被困住的那一步。

只有当您允许Contributor访问至少一个存储帐户时，测试才会通过。您可以在存储帐户/存储帐户/访问控制(IAM) /授予对此资源的访问权限/添加角色分配下的Azure控制台执行此操作。

授予由上述凭据标识的应用程序注册的贡献者访问权限。

在设置了新的Azure用户定义的凭据之后，在Matillion中，您需要转到您的环境(左下角)并将Azure凭据设置为您的新凭据，如下所示。

​

​

完成后，创建一个数据传输组件。

• 将Source设置为Azure，并按button属性上的浏览按钮。它应该列出应用程序注册被授予访问权限的所有存储帐户(在下面的屏幕快照中只有一个)，
• 找到您希望加载的blob，将目标类型设置为S3，并选择一个目标对象名称和一个目标URL

​

​

运行数据传输组件，将文件从Azure存储复制到S3存储中。之后，您将能够使用S3 Load组件将数据从S3复制到雪花中。