数据库与Gitlab集成/自动化

Question

我想在gitlab制作一些ci/cd。我想用最新的git代码运行Repos中的所有databricks笔记本更新(一些开发人员不使用dbx，而是使用IDE (如VScode) )。

我找到了azure的集成，运行了一些

​

stages:
  - update_dbx_notebooks

update_dbx_notebooks:
  stage: update_dbx_notebooks
  script: |
    -python -m pip install --upgrade databricks-cli
    displayName: 'Install dependencies'
  script:
    -echo "Checking out the $CI_COMMIT_BRANCH  branch"
    -databricks repos update --path "Repos/databricksUser/SL_dataprovider_staging" --branch "$CI_COMMIT_BRANCH"

​

我已经生成了令牌，所以我能够从databricks笔记本中提取/提交用于gitlab fine的笔记本。但我认为gitlab runner必须对databricks进行身份验证，对吗？在Azure上用gitlabrunner创建VM是有意义的吗？

有人有gitlab/github集成的经验吗？

Answer 1

• 在Linux机器上创建您的gitlab运行程序，向gitlab-runner用户添加sudo特权(或仅针对您的管道)。
• 启动运行程序，将其注册到项目中。
• 添加到带有Runner的主配置文件(请参阅~/.databrickscfg 数据库cli文档 )(或者在手动设置之后可以使用默认设置)
• 当然，您必须验证您的gitlab 数据块存储库。

将管道添加到gitlab-ci.yml中

stages:
  - update_dbx_notebooks

update_dbx_notebooks:
  stage: update_dbx_notebooks
  before_script:
    - echo "Installation of databricks-cli via $USER"
    - sudo python3 -m pip install databricks-cli
  script:
    - echo "Test ls dbx space"
    - databricks workspace ls /Users/username --profile Runner
    - echo "Checking out the $CI_COMMIT_BRANCH  branch"
    - databricks repos update --path "/Repos/username/staging" --branch "$CI_COMMIT_BRANCH" --profile Runner

​

瞧

​