如何在Azure数据库中更改运行作业的Spark用户？

Question

我正在使用星火在Azure数据库5.5。我通过Databricks工作区UI通过乔布斯、笔记本和火花提交提交火花作业。作业正在成功提交，Databricks正在生成新的集群或使用现有的集群。但是，默认情况下，在executor节点上运行作业的用户是根。是否有可能更改在Azure Databricks上运行作业的用户(这本质上不允许SSH访问)？

通常，当我在具有Shell访问权限的集群上使用星火提交CLI时，我使用sudo：sudo -u exampleuser spark-submit...更改用户。在这个例子中，用户'exampleuser‘出现在集群的所有节点上。因此，我想知道是否有可能更改在Azure Databricks集群中运行Spark作业的用户。

Answer 1

经过与Azure团队的讨论，改变用户运行星火作业的正确方法是在集群创建过程中设置一个环境变量HADOOP_USER_NAME。这将运行星火作业的有效用户从根用户更改为用户$HADOOP_USER_NAME

Answer 2

默认情况下，除非管理员启用作业访问控制，否则所有用户都可以创建和修改作业。对于作业访问控制，单个权限决定用户的能力。本主题描述各个权限以及如何启用和配置作业访问控制。

• 作业权限

作业有五种权限级别：No permission ，Can View，可以管理运行，是Owner，可以管理E 213。可以管理权限是为管理员保留的。该表列出了每个权限的能力。

​

​

• 启用作业访问控制

转到“管理控制台”=>，选择“访问控制选项卡”=>，单击“群集和何塞访问控制”=>单击确认“确认”旁边的“启用”按钮。

​

​

• 配置作业权限

注意：您必须是管理员，或者拥有配置作业提交的“是所有者”权限。

首先，选择要更改的作业--用户=>单击高级=>单击权限旁边的“编辑”链接。=>在弹出对话框中，通过用户名旁边的下拉列表分配作业权限.

​

​

希望这能有所帮助。

如果这回答了您的查询，请单击“标记为答案”和“向上投票”以获得相同的答案。如果您有任何进一步的疑问，请告诉我们。