- 综合排序
- 最热优先
- 最新优先
- 来自专栏六个核弹的专栏
jenkins系列（2）pipeline
pipeline是部署流水线，它支持脚本和声明式语法，能够比较高自由度的构建jenkins任务.个人推荐使用这种方式去构建jenkins。 pipeline 的hello world pipeline的功能由pipeline插件提供，我们可以创建一个jenkinsfile来申明一个任务。接下来我们创建一个最简单的pipeline。 pipeline有2种语法：脚本式（Scripted）语法和声明式（Declar-ative）语法。 pipeline插件从2.5版本开始同时支持两种语法，官方推荐的是使用申明式语法，在这里也只对申明式语法进行介绍。 pipeline 实战 接下来我们编译一个本地项目，流水线脚本示例： pipeline { agent any stages { stage('Build
1.8K20编辑于 2022-12-23 - 来自专栏全栈程序员必看
详解redis 中Pipeline流水线机制
二、pepeline的性能 1、未使用pipeline执行N条命令 2、使用了pipeline执行N条命令 3、两者性能对比 小结：这是一组统计数据出来的数据，使用Pipeline执行速度比逐条执行要快 处理一件事情要么都成功，要么都失败，原子不可拆分) 2、原生批命令一命令多个key, 但pipeline支持多命令（存在事务），非原子性 3、原生批命令是服务端实现，而pipeline需要服务端与客户端共同完成 不过有个好处，管道里每个操作命令返回的数据是按照管道里顺序存储的，key值是0，1，2这种。我们想要啥数据，自己稍微处理一下就好啦。 如果我们像取消管道操作，用下面代码即可： $pipe->discard(); 总结：pipeline 虽然好用，但是每次pipeline 每次组装的命令个数不能没有节制，否则一次组装pipeline数据量过大 ，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的pipeline拆分成多次较小的pipeline来完成。
1K30编辑于 2022-07-19 - 来自专栏码农编程进阶笔记
详解redis 中Pipeline流水线机制
二、pepeline的性能 1、未使用pipeline执行N条命令 2、使用了pipeline执行N条命令 3、两者性能对比 小结：这是一组统计数据出来的数据，使用Pipeline执行速度比逐条执行要快 处理一件事情要么都成功，要么都失败，原子不可拆分) 2、原生批命令一命令多个key, 但pipeline支持多命令（存在事务），非原子性 3、原生批命令是服务端实现，而pipeline需要服务端与客户端共同完成 不过有个好处，管道里每个操作命令返回的数据是按照管道里顺序存储的，key值是0，1，2这种。我们想要啥数据，自己稍微处理一下就好啦。 如果我们像取消管道操作，用下面代码即可： $pipe->discard(); 总结：pipeline 虽然好用，但是每次pipeline 每次组装的命令个数不能没有节制，否则一次组装pipeline数据量过大 ，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的pipeline拆分成多次较小的pipeline来完成。
2.3K20发布于 2021-09-09 - 来自专栏finleyMa
Jenkins pipeline 2 -- Groovy语法介绍
写 pipeline 就是写 Groovy 代码，Jenkins pipeline 其实就是基于Groovy语言实现的一种DSL。 支持闭包 // 定义闭包 def codeBlack = {print "hello closure"} // 闭包当做函数调用 codeBlack // 闭包可以赋值给变量，或者作为参数传递 def pipeline (closure) { closure() } pipeline(codeBlack) // 因为括号是非必需的，下面几种写法结果是一样的，是不是和Jenkins pipeline很像呢 pipeline ( {print "hello closure"} ) pipeline { print "hello closure" } pipeline codeBlack 闭包的另一个用法 def
7.1K30发布于 2019-07-09 - 来自专栏AI异构
Intel OpenCL 之 Pipeline（二）For循环的执行机制
嵌套for循环的pipeline机制 看下面的例子： #define k_size 20 #define size 4 kernel void accum_swg (global int* a pipeline。 可以看到，第0次迭代已经要输出结果了，而第3次迭代则刚刚启动，第2和第1次迭代处于中间态。如果size大于4，那么，到下一个cycle时，1将输出，4将进入，而3和2将变成中间态。 pipeline-21 嵌套循环 把loop1和loop1_1一起考虑，执行过程如下图所示： pipeline-32 可以看到，内层循环pipeline中间没有任何气泡，外层循环其实是在可以做插入的地方做内插 并列for循环的执行机制 如下图所示，并列的两个for循环如例子中的loop1, loop1_1和loop2，只能串行执行，等一个结束后下一个才开始。
1.8K30发布于 2020-07-29 - 来自专栏小工匠聊架构
Netty Review - 探索Channel和Pipeline的内部机制
当数据通过Channel时，它会在Pipeline中流动，每个ChannelHandler都有机会处理它。 内部机制： Channel： Channel内部包含一个Pipeline。 当一个Channel被创建时，会创建一个新的Pipeline实例。 Channel的生命周期与Pipeline密切相关，一个Channel的事件将在其关联的Pipeline中被处理。 Pipeline： Pipeline是由一系列ChannelHandler按顺序组成的。 数据在Pipeline中流动，每个ChannelHandler按照添加的顺序逐个处理数据。 Channel的生命周期与Pipeline紧密相连，数据通过Pipeline中的ChannelHandler逐个处理。 但它并不是直接执行这些操作，而是通过一个叫做Pipeline的东西来实现的。 现在，Pipeline可以看作是一条连接了很多小工具的长链。
45211编辑于 2023-12-01 - 来自专栏zinyan
Jenkins 2.o Pipeline基本介绍
闲话少说，让我们来了解和学习Pipeline吧 2. 什么是Pipeline 在Jenkins中，我们将各种的部署操作通过流水线脚本的方式，按照一定顺序自动执行。这个过程就是Pipeline。 更好的协作：每次Pipeline的修改所有人都是可见的，同时还可以针对Pipeline进行代码审核。 更好的复用性：编写为Pipeline的脚本可以重用。 2.2 pipeline 语法 我们已经介绍了Pipeline 编写后的内容是存储在Jenkinsfile文件中的，那么它支持的语法是什么？ 创建一个简单的Pipeline 了解基础后，尝试创建一个简单的Pipeline试试看：（如果没有流水线选项或Pipeline选项，那么你需要主动安装pipeline插件，现在版本默认都会集成了相关插件） 通过Pipeline进行配置Jenkins能够实现面板控制无法实现的功能。
37330编辑于 2023-07-14 - 来自专栏机器学习与统计学
机器学习基础：令你事半功倍的pipeline处理机制
为了避免重复操作，这里就要用到机器学习中的pipeline机制 按照sklearn官网的解释 pipeline 有以下妙用： 1、便捷性和封装性：直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测 Pipeline处理机制就像是把所有模型塞到一个管子里，然后依次对数据进行处理，得到最终的分类结果， 例如模型1可以是一个数据标准化处理，模型2可以是特征选择模型或者特征提取模型，模型3可以是一个分类器或者预测模型 一个完整的Pipeline步骤举例： 1.首先对数据进行预处理,比如缺失值的处理 2.数据的标准化 3.降维 4.特征选择算法 5.分类或者预测或者聚类算法(估计器,estimator) ? 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2]) Pipeline妙用：自动化 Grid Search Pipeline可以结合GridSearch来对参数进行选择： from 其他用法 Pipeline 还有一些其他用法，这里只简单介绍最最常用的两个make_pipeline pipeline.make_pipeline(\*steps, \*\*kwargs) make_pipeline
10.3K93发布于 2020-09-08 - 来自专栏开源优测
Jenkins 2.X Script Pipeline语法基础
在Jenkins 2.X的核心Pipeline，有两种写法： Declarative Pipeline Script Pipeline 对于很多初学者来讲，可能接触的都是Declarative Pipeline ，即声明式pipeline语法，这种类似我们在做自动化测试时所接触的关键字驱动模式，只要理解其定义好的关键词，按要求填充数据即可。 笔者在企业实践中中，采用的是Script pipeline，即脚本式pipeline语法，好处就是灵活，好封装，易于大规模使用，但需要有一定的编程功底。 在任何可用的代理上，执行流水线或它的任何阶段 2.定义 "Build" 阶段。 stage 块 在脚本化流水线语法中是可选的。 3 - stage 是一个描述 stage of this Pipeline的语法块。
1.9K30发布于 2019-11-21 - 来自专栏开源优测
Jenkins 2.X核心特色Pipeline应用
什么是 Jenkins Pipeline? Jenkins Pipeline（或简称为 "Pipeline"）是一套插件，将持续交付的实现和实施集成到 Jenkins 中。 持续交付 Pipeline 自动化的表达了这样一种流程：将基于版本控制管理的软件持续的交付到您的用户和消费者手中。 Jenkins Pipeline 提供了一套可扩展的工具，用于将“简单到复杂”的交付流程实现为“持续交付即代码”。 实践欣赏 下面看一下笔者在企业中如何应用jenkins pipeline来进行持续集成交付自动化测试实践的，先看一张图： ? 好了 jenkins 2.x pipeline的先来这么一段，后续再写了。
69520发布于 2019-08-05 - 来自专栏AutoML(自动机器学习)
Detectron2源码阅读笔记-（三）Dataset pipeline
构建data_loader原理步骤 # engine/default.py from detectron2.data import ( MetadataCatalog, build_detection_test_loader 结合前面两篇文章的内容可以看到detectron2在构建model,optimizer和data_loader的时候都是在对应的build.py文件里实现的。 Use the dataset names in config to query :class:`DatasetCatalog`, and obtain a list of dicts. 2. 在解释mapper是什么之前我们首先要知道的是，在detectron2中，一张图片对应的是一个dict，那么整个数据集就是list[dict]。 读取图像数据 image = utils.read_image(dataset_dict["file_name"], format=self.img_format) # 2.
85310发布于 2020-06-12 - 来自专栏前沿技墅
Jenkins 2来了！Pipeline带你逃离黑洞
DSL是Jenkins 2的核心组件，作为构建模块让其他核心的用户导向特性成为可能。让我们来大致看下这些特性如何使Jenkins 2区别于传统版本的Jenkins。 当然大多数功能都可以通过Groovy编程机制来模拟实现，比如trycatch-finally语法。但是这在面向Jenkins编程的基础上对Groovy语言的技能提出了更高的要求。 这里有一个构建后过程的示例，现在我们可以使用内建的 DSL机制，通过简单定义就能实现基于构建状态发送通知的功能。这减少了使用Groovy代码提供流水线定义来模拟传统Jenkins特性的需求。 组织 有些源码版本控制平台提供了将多个代码库聚合成“组织”的机制。Jenkins集成允许将Jenkins流水线脚本存储为组织内代码库中的Jenkinsfile文件，并基于这些库执行。 但Jenkins 2更加关注的是流水线任务。 很容易看出，相对于传统的Jenkins模式，Jenkins 2发生了重大转变。因此，值得花几分钟来讨论转变的原因。 ?
2.6K20发布于 2019-04-30 - 来自专栏容器计算
Kubeflow Pipeline - 上传一个 Pipeline
2 理解 Pipeline https://www.kubeflow.org/docs/pipelines/overview/pipelines-overview/ 从官网文档了解，什么是 Pipeline 最后就是，Pipeline 在 Kubeflow 的生态内，结合 Notebook，数据科学家甚至都可以不用跳出去 Kubeflow 来做其他操作，一站式 e2e 的就搞定了。 2 Upload Pipeline ? 通过?这个 Link，学习一下如何构建自己的 Pipeine 并且上传。 # 1 下载官方的示例 python 代码来构建 git clone https://github.com/kubeflow/pipelines.git # 2 实例代码在这里 cd pipelines /release/0.1.20/kfp.tar.gz --upgrade # 2 检查一下安装成功了没 which dsl-compile 确定一下，所在的目录，然后就可以搞起来了。
1.5K30发布于 2020-08-06 - 来自专栏finleyMa
Jenkins2 学习系列27 -- pipeline 中 Docker 操作
pipeline { agent { docker { image 'finleyma/circleci-nodejs-browser-awscli' } } } stage('Unit Test') { steps { sh 'npm run test' } } // .... build, delpoy } pipeline groovy pipeline { agent any environment { // PATH="/bin:/sbin:/usr/bin:/usr/sbin 在pipeline中添加ssh登录目标主机，然后添加 docker run --rm fineyma/node-demo:${env.BUILD_NUMBER}-${git_commit} step 步骤 参考 https://jenkins.io/doc/pipeline/steps/docker-workflow https://jenkins.io/doc/book/pipeline/docker
3.3K21发布于 2019-08-26 - 来自专栏Pipeline
Armada pipeline
今天就是假期的最后一天了 明天大家就要开始上班了 今天向大家分享一波 这个是一个大佬 (Mike Bourbeau) 写的一个免费的开源pipeline工具集 虽然现在还只是Beta版 但是大家可以关注下 Toolkit，CGTeamWork，还有Ftrack Connect都有些类似 大家可以学习借鉴他的一些设计思路 见多识广总是好的 没准在日后的工作中有一些参考价值 下面是当前Armada pipeline 如下图所示，你只需要填0就可以获得下载链接 展示 如果你对他的工作十分感兴趣，你也可以去Patreon上面去赞助他 https://www.patreon.com/posts/armada-pipeline
60620编辑于 2022-07-14 - 来自专栏从码农的全世界路过
Redis Pipeline
pipeline是客户端向redis发送多条命令的通道. redis并没有在命令行中提供pipeline功能; 除去redis本身需要支持pipeline功能,其他各语言版的客户端都需要有相应的实现. 通常客户端请求执行一条命令分为以下四个步骤: 1.发送命令 2.命令排队 3.命令执行 4.返回结果 其中,第一步和第四步合称为round trip time(RTT,往返延时). pipeline的作用就是在需要执行多条命令时 pipeline和mget,mset命令类似可以发送多条命令给服务端同时执行,但pipeline更灵活,也不限于同一类型操作命令. 注意事项: 1. pipeline虽然好用,但是每次pipeline组装的命令个数不能太多,如果组装数据量过大,会增加客户端的等待时长,造成一定的网络阻塞. 最佳方式是将含有大量命令的pipeline拆分成多次较小的pipeline来完成. 2. pipeline在集群中应用时,应注意所执行命令需在同一服务器上,否则会引起slot错误.
81410编辑于 2022-06-20 - 来自专栏ops技术分享
pipeline groovy
一.变量 1.直接定义 def x="abc" 2.从脚本执行结果赋值变量 branch = “/jen_script/return-branch.sh $group $job”.execute().text #将结果通过逗号分隔，写入数组里 branch = “one, two, three” branch_list = branch[1..-2].tokenize(‘,’) 3.引号 ```python return givenName + "" + familyName } //调用，可省略括号 createName(familyName = "Lee", givenName = "Bruce") 2. closure"} ) //由于括号是非必需的，所以 sayHello { print "hello closure" } //如果sayHello改成名字为pipeine就是，是不是很像jenkins的pipeline pipeline { print "hello closure" } 5.闭包另类用法，定义一个stage方法 //定义方法，传一个正常变量和一个闭包 def stage(String name,
1.9K21发布于 2021-06-02 深入解析Hadoop的Block多副本同步机制与Pipeline复制
Block多副本同步机制工作原理 Pipeline复制技术 在HDFS的数据写入过程中，Pipeline复制技术是实现高效数据分发的核心机制。 错误快速重试机制保障了传输可靠性。如果某个节点在转发过程中失败，客户端会立即收到通知，并触发以下恢复流程： 1. 关闭当前Pipeline 2. 将故障节点移出活动节点列表 3. 一致性保障机制 面对"边写边读"场景，Pipeline采用可见性阈值控制解决数据一致性问题： 1. 当Packet被所有Pipeline节点确认后，标记为"可读" 2. 调整Pipeline的窗口大小参数，从默认的4MB提升至16MB 2. 启用压缩传输减少网络负载 3. 基于TEE（可信执行环境）的加密副本验证机制，确保数据传输过程中不被篡改 2.
50510编辑于 2025-08-27- 来自专栏finleyMa
Jenkins2 学习系列10 -- 多分支pipeline构建
一个项目可能会有很多分支，Jenkins 支持创建多分支pipeline的任务。 创建多分支项目 新建 "Item" 直接选择 "Multibranch Pipeline" 即可 ? environment name: 'DEPLOY_TO', value: 'production' } equals：如果期望值与给定的值相同，则执行 when { equals expected: 2, = 'master' } } building Tag：如果pipeline所执行的代码被打 了tag,则执行 tag：如果pipeline所执行的代码被打了tag,且tag名称符合规则，则执行 的分支名 参考 converting-conditional-to-pipeline/
2.9K20发布于 2019-07-22 - 来自专栏devops探索
jenkins结合pipeline实现虚机和容器部署(2)
上一篇介绍了关于虚机如何结合pipeline实现部署和回滚，并结合了ansible的playbook实现对集群，或者不同的集群进行部署，下面介绍下如何使用pipeline结合k8s实现部署与回滚容器完成部署 设置参数 同样新建一个pipeline风格的任务，然后需要准备几个参数化构建过程的插件，包括：Active Choice Parameter，Choice parameter，Extended Choice =8080 --target_port=8080 --out_port=${out_ports} --kuber_yml_dir=${kuber_yml_dirss}" } } 简单说明下上面的pipeline 然后pipeline的关键部分还是通过执行脚本来完成的，因为要考虑很多内容，包括： 如何获取打包好的jar包名 如何命名镜像的tag 如何获取时间 如何获取版本号 如何通过docker build / 同样的方法，通过pipeline执行命令获取 git_cm_id = sh(script: "git rev-parse --short HEAD", returnStdout: true).trim
1.5K20发布于 2020-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号