将Azure Data Lake Storage Gen1元数据(根据文件夹结构和大小信息)转换为Power BI

Question

在Azure门户上-我有几个“数据湖存储Gen1”资源，我需要构建一个强大的BI仪表板，可以显示1.存储信息(有多少数据驻留在资源上) 2.文件夹级别的存储信息(至少到2级)，类似于以下Parent_Folder (10TB) Sub_Folder_1 (3TB) Sub_Folder_2 (6TB) Sub_Folder_3(1TB)

这些数据应该作为报告显示在Power BI中，这样我们就可以让多个用户查看这些数据。

我知道-目前在Azure门户中提供了thsi -但这里有一个要求，让一些平台和运营团队通过Power BI Dashbaord轻松获得它-这样他们就不需要访问Azure门户并导航到此资源。

这可行吗？如果是-你能帮我找出-I可以从ADLS中检索这个元数据的选项吗?在Azure门户中的资源上应该授予什么凭据/角色？

谢谢，阿拉文

Answer 1

你可以从Azure Datalake Store API获取元数据。更多详细信息，请访问链接

https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis

它将返回一个JSON对象。

它将提供基于文件夹的文件大小，它还概述了您所需的权限。我会设置一个数据流来访问API，然后将返回的JSON转换为有用的内容。如果您正在使用ADL，并且正在使用Azure Datalake Analytics或Azure Databricks，您也可以使用它们来获取文件夹列表，并通过迭代它们来获取信息。