寻找一种方法来暂停gitlab作业和基于AWS输入的恢复。
由于组织中权限的限制,下面是我当前的CI工作流:

在上面的图表中,推事件lambda通过web钩子触发gitlab作业。gitlab作业只获取最新的代码、压缩文件并复制到特定的s3桶中。在gitlab工作完成后,相同的lambda将触发代码构建构建,它从s3桶中获取最新的zip文件,创建UI块文件,工件被推送到不同的s3桶中。
### gitlab-ci.yml ###
variables:
environment: <aws-account-number>
stages:
- get-latest-code
get-latest-code:
stage: get-latest-code
script:
- zip -r project.zip $(pwd)/*
- export PATH=$PATH:/tmp/project/.local/bin
- pip install awscli
- aws s3 cp $(pwd)/project.zip s3://project-input-bucket-dev
rules:
- if: ('$CI_PIPELINE_SOURCE == "merge_request_event"' || '$CI_PIPELINE_SOURCE == "push"')### lambda code ###
def runner_lambda_handler(event, context):
cb = boto3.client( 'codebuild' )
builds_dir = os.environ.get('BUILDS_DIR', '/tmp/project/builds')
logger.debug("STARTING GIT LAB RUNNER")
gitlab_runner_cmd = f"gitlab-runner --debug run-single -u https://git.company.com/ -t {token} " \
f"--builds-dir {builds_dir} --max-builds 1 " \
f"--wait-timeout 900 --executor shell"
s3_libraries_loader.subprocess_cmd(gitlab_runner_cmd)
cb.start_build(projectName='PROJECT-Deploy-dev')
return {
"statusCode": 200,
"body": "Gitlab build success."
}#### Codebuild Stack ####
codebuild.Project(self, f"Project-{env_name}",
project_name=f"Project-{env_name}",
role=codebuild_role,
environment_variables={
"INPUT_S3_ARTIFACTS_BUCKET": {
"value": input_bucket.bucket_name
},
"INPUT_S3_ARTIFACTS_OBJECT": {
"value": "project.zip"
},
"OUTPUT_S3_ARTIFACTS_BUCKET": {
"value": output_bucket.bucket_name
},
"PROJECT_NAME": {
"value": f"Project-{env_name}"
}
},
cache=codebuild.Cache.bucket(input_bucket),
environment=codebuild.BuildEnvironment(
build_image=codebuild.LinuxBuildImage.STANDARD_5_0
),
vpc=vpc,
security_groups=[codebuild_sg],
artifacts=codebuild.Artifacts.s3(
bucket=output_bucket,
include_build_id=False,
package_zip=False,
encryption=False
),
build_spec=codebuild.BuildSpec.from_object({
"version": "0.2",
"cache": {
"paths": ['/root/.m2/**/*', '/root/.npm/**/*', 'build/**/*', '*/project/node_modules/**/*']
},
"phases": {
"install": {
"runtime-versions": {
"nodejs": "14.x"
},
"commands": [
"aws s3 cp --quiet s3://$INPUT_S3_ARTIFACTS_BUCKET/$INPUT_S3_ARTIFACTS_OBJECT .",
"unzip $INPUT_S3_ARTIFACTS_OBJECT",
"cd project",
"export SASS_BINARY_DIR=$(pwd)",
"npm cache verify",
"npm install",
]
},
"build": {
"commands": [
"npm run build"
]
},
"post_build": {
"commands": [
"echo Clearing s3 bucket folder",
"aws s3 rm --recursive s3://$OUTPUT_S3_ARTIFACTS_BUCKET/$PROJECT_NAME"
]
}
},
"artifacts": {
"files": [
"**/*.html",
"**/*.js",
"**/*.css",
"**/*.ico",
"**/*.woff",
"**/*.woff2",
"**/*.svg",
"**/*.png"
],
"discard-paths": "yes",
"base-directory": "$(pwd)/dist/proj"
}
})
)需要的是:
目前,gitlab作业与代码构建作业之间存在着脱节。我正在寻找一种方法来暂停gitlab作业,在所有步骤执行之后。稍后,在代码构建工作成功完成时,我可以恢复相同的gitlab作业并标记完成。
提前感谢
发布于 2022-05-11 11:49:58
您需要更改gitlab的web钩子更新部分,在那里,您可以通过curl检查其他部件的状态。如果它们的状态尚未完成,则将git推送到推送事件。
发布于 2022-05-11 11:54:12
发布于 2022-05-12 01:23:06
您可以在管道中创建手动作业作为暂停。代码构建可以调用GitLab API来运行手动作业,从而允许管道继续运行。这可能是处理这种情况的最有效的资源方法。
但是,您将无法使用此方法恢复相同的作业。
没有“暂停”作业的机制,但如果出于某种原因确实需要将事情保留在同一个任务中,则可以实现另一个答案中建议的轮询机制。但是,您最终会消耗更多的时间(如果使用GitLab.com共享运行程序)或系统资源。如果这个过程需要很长的时间,您也可能需要考虑作业超时问题。
https://stackoverflow.com/questions/72200337
复制相似问题