Azure Databricks with Github

Question

我正在使用Databricks notebook，并将其与GitHub同步。我们是在Github repo的两个不同分支上工作的两个成员。当我们在该笔记本上运行Azure数据工厂活动时，它运行该笔记本的最新版本。

既然我们不能控制从外部执行的Notebook版本，那么使用GitHub作为版本控制的目的是什么呢？

如果许多开发人员提交了他们的更改，但在EOD上，我们需要执行主分支更改，这是最稳定的更改。

Answer 1

Databricks notebook不能从git重新加载。您需要在个人文件夹中制作笔记本的副本，开发并提交到git功能分支。在将请求拉入主分支之后，您需要从git (重新)部署您的笔记本。

运行您的代码的笔记本不应更改，只能更改个人副本。

Answer 2

我们实际上没有在databricks上使用整个git同步，而是使用了databricks-cli中的export_dir / import_dir功能。通过这种方式，我们可以更好地控制导入的内容和时间..你可以在多个笔记本上提交(因为一个特性通常跨越多个笔记本)。

希望这能有所帮助。