我们有Azure集群( linked节点),其主存储帐户链接到ADLS gen2存储。我们使用用户管理标识(umi)将hdi集群连接到它的主存储区。一切运行良好,集群成功运行,并在存储中创建了一些系统数据。我们可以看到它。因此,umi身份验证在这种情况下工作得很好。
有一件事我还不清楚,我可以使用相同的umi从工作节点直接访问存储吗?
hdfs dfs -ls abfss://$adls-gen2-url其中$adls-gen2-url是ADLS gen2存储的URL。
我的假设是,我不能--因为工人的linux与用来通信集群本身和ADLS gen2存储的umi无关。因此,当直接从集群节点运行命令时,我们必须显式验证。
发布于 2019-05-10 10:27:39
您可以直接从worker节点访问存储。
示例:默认文件系统: hdfs dfs -ls abfss://chepra-2019-05-10t09-29-14-031z@chepra.dfs.core.windows.net/
数据湖存储gen2中的另一个文件系统: hdfs dfs -ls abfss://input@chepra.dfs.core.windows.net/

有关详细信息,请参阅"使用Azure数据湖存储Gen2和Azure HDInsight“。
希望这能有所帮助。
https://stackoverflow.com/questions/56029212
复制相似问题