如何在spark jar中使用dbutils.secrets

Question

因此，我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功地设置了它们。我现在正尝试在我的spark jar (用scala编写)中使用它们。然而，它需要在本地编译，并在ci/cd管道中进行编译，才能被实时推送。

但是，我找不到dbutils位于哪个包中。

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

这是我正在尝试实现的用例，如果有任何帮助，我将不胜感激！

Answer 1

你试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗？我的SBT构建有一个似乎可以拉入dbutils的"com.databricks" %% "dbutils-api" % "0.0.3"依赖项。

Answer 2

在Databricks中，当您的jar包含一个业务逻辑时，每个作业都是从一个notebook开始的，应该将其定义为一个附加到集群的库。

启动notebook通常使用dbutils处理所有外部参数，然后调用业务逻辑代码，将密码、连接字符串等作为参数传递给函数。

所有密钥仅存储在KeyVault中。在这里你可以找到how to integrate Databricks secret scopes with KeyVault

要在本地运行代码，请使用Azure CLI从KeyVault检索密码，并在每次运行之前将其分配给环境变量作为准备步骤。