我如何在Azure Devops中做数据库笔记本的CICD？

Question

我想做我的数据库笔记本的CICD。我遵循的步骤。

1. 我已经集成了我的数据库与Azure Repos。
2. 使用YAML脚本创建了一个构建艺术品，它将保存我的笔记本。
3. 将构建工件部署到YAML中的Databricks工作区中。

现在我想

1. 从Azure DevOps管道本身执行和调度Databricks笔记本。
2. 如何使用YAML设置多个环境，如Stage、Dev和Prod。
3. 我的笔记本本身叫其他笔记本。我能做这个吗？

我怎么才能解决这个问题？

Answer 1

这是可行的，对于Databricks Repos，您真的不需要创建构建工件并部署它--最好使用Repos或databricks repos来更新将用于测试的另一个签出。

对于笔记本的测试，我总是建议使用微软的纽特图书馆，它允许从命令行触发笔记本的执行，从而简化了笔记本的测试。

您可以使用%run指令包括其他笔记本--使用相对路径而不是绝对路径很重要。您可以将dev/暂存/prod组织为Repos中的文件夹，也可以组织为一个完全分离的环境--这取决于您。

我有一个笔记本测试和Repos集成CI/CD演示 -它包含所有必要的说明，如何设置开发/暂存/prod+ Azure DevOps管道，将测试笔记本和触发器发布管道。

我要明确提到的唯一一件事是，对于Azure DevOps，您需要使用Azure DevOps个人访问令牌，因为身份传递还不能用于API。