- 综合排序
- 最热优先
- 最新优先
- 来自专栏finleyMa
Jenkins pipeline 4 -- 指令
pipeline支持的指令 显然，基本结构满足不了现实多变的需求。所以，Jenkins pipeline通过各种指令(directive) 来丰富自己。 指令可以被理解为对Jenkins pipeline基本结构的补充。 Jenkins pipeline支持的指令有: environment: 用于设置环境变量，可定义在stage或pipeline部分。 tools: 可定义在pipeline或stage部分。 options: 用于配置 Jenkins pipeline 本身的选项，比如 options {retry (3) }指当pipeline失败时再重试2次。 parameters: 与input不同，parameters是 执行pipeline前传入的一些参数。 triggers: 用于定义执行pipeline的触发器。
1.5K20发布于 2019-07-08 - 来自专栏全栈程序员必看
详解redis 中Pipeline流水线机制
一、pipeline出现的背景： redis客户端执行一条命令分4个过程： 发送命令－〉命令排队－〉命令执行－〉返回结果 这个过程称为Round trip time(简称RTT, 往返时间)，mget 二、pepeline的性能 1、未使用pipeline执行N条命令 2、使用了pipeline执行N条命令 3、两者性能对比 小结：这是一组统计数据出来的数据，使用Pipeline执行速度比逐条执行要快 三、原生批命令(mset, mget)与Pipeline对比 1、原生批命令是原子性，pipeline是非原子性 (原子性概念:一个事务是一个不可分割的最小工作单位,要么都成功要么都失败。 如果我们像取消管道操作，用下面代码即可： $pipe->discard(); 总结：pipeline 虽然好用，但是每次pipeline 每次组装的命令个数不能没有节制，否则一次组装pipeline数据量过大 ，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的pipeline拆分成多次较小的pipeline来完成。
1K30编辑于 2022-07-19 - 来自专栏码农编程进阶笔记
详解redis 中Pipeline流水线机制
一、pipeline出现的背景： redis客户端执行一条命令分4个过程： 发送命令－〉命令排队－〉命令执行－〉返回结果 这个过程称为Round trip time(简称RTT, 往返时间)，mget 二、pepeline的性能 1、未使用pipeline执行N条命令 2、使用了pipeline执行N条命令 3、两者性能对比 小结：这是一组统计数据出来的数据，使用Pipeline执行速度比逐条执行要快 三、原生批命令(mset, mget)与Pipeline对比 1、原生批命令是原子性，pipeline是非原子性 (原子性概念:一个事务是一个不可分割的最小工作单位,要么都成功要么都失败。 如果我们像取消管道操作，用下面代码即可： $pipe->discard(); 总结：pipeline 虽然好用，但是每次pipeline 每次组装的命令个数不能没有节制，否则一次组装pipeline数据量过大 ，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的pipeline拆分成多次较小的pipeline来完成。
2.3K20发布于 2021-09-09 - 来自专栏AI异构
Intel OpenCL 之 Pipeline（二）For循环的执行机制
嵌套for循环的pipeline机制 看下面的例子： #define k_size 20 #define size 4 kernel void accum_swg (global int* a 内层循环 蓝色框表示内层循环体loop1_1；L表示Latency；一个粉色块表示一次迭代；这里启动了四次迭代（size=4）。 如果size大于4，那么，到下一个cycle时，1将输出，4将进入，而3和2将变成中间态。 pipeline-21 嵌套循环 把loop1和loop1_1一起考虑，执行过程如下图所示： pipeline-32 可以看到，内层循环pipeline中间没有任何气泡，外层循环其实是在可以做插入的地方做内插 并列for循环的执行机制 如下图所示，并列的两个for循环如例子中的loop1, loop1_1和loop2，只能串行执行，等一个结束后下一个才开始。
1.8K30发布于 2020-07-29 - 来自专栏小工匠聊架构
Netty Review - 探索Channel和Pipeline的内部机制
当数据通过Channel时，它会在Pipeline中流动，每个ChannelHandler都有机会处理它。 内部机制： Channel： Channel内部包含一个Pipeline。 当一个Channel被创建时，会创建一个新的Pipeline实例。 Channel的生命周期与Pipeline密切相关，一个Channel的事件将在其关联的Pipeline中被处理。 Pipeline： Pipeline是由一系列ChannelHandler按顺序组成的。 数据在Pipeline中流动，每个ChannelHandler按照添加的顺序逐个处理数据。 Channel的生命周期与Pipeline紧密相连，数据通过Pipeline中的ChannelHandler逐个处理。 Outbound事件 Inbound事件和Outbound事件是两种类型的事件，根据触发事件的源头进行区分 https://stackoverflow.com/questions/22354135/in-netty4-
45211编辑于 2023-12-01 - 来自专栏机器学习与统计学
机器学习基础：令你事半功倍的pipeline处理机制
为了避免重复操作，这里就要用到机器学习中的pipeline机制 按照sklearn官网的解释 pipeline 有以下妙用： 1、便捷性和封装性：直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测 Pipeline处理机制就像是把所有模型塞到一个管子里，然后依次对数据进行处理，得到最终的分类结果， 例如模型1可以是一个数据标准化处理，模型2可以是特征选择模型或者特征提取模型，模型3可以是一个分类器或者预测模型 一个完整的Pipeline步骤举例： 1.首先对数据进行预处理,比如缺失值的处理 2.数据的标准化 3.降维 4.特征选择算法 5.分类或者预测或者聚类算法(估计器,estimator) ? 'svc__gamma':np.logspace(-2,1,4), 'svc__C':np.logspace(-1,1,3), 'vect__analyzer':['word'] } 其他用法 Pipeline 还有一些其他用法，这里只简单介绍最最常用的两个make_pipeline pipeline.make_pipeline(\*steps, \*\*kwargs) make_pipeline
10.3K93发布于 2020-09-08 - 来自专栏单细胞天地
OSCA单细胞数据分析笔记-4 Overview pipeline
（简单来说首先使用STAR比对，然后统计每个基因比对到多少个UMI，作为表达量） 对于Smart-seq的测序数据，则可以参考传统的RNA-seq比对、计数pipeline。 例如作者推荐的scPipe，介绍如下(我暂时没用过，用过的朋友可以来说说咋样) A preprocessing pipeline for single cell RNA-seq data that starts ）质控：过滤出不合格、或者是低质量的细胞； （2）标准化：类似Bulk RNA-seq，为了使不同细胞间细胞表达更具有可比性； （3）挑选高变基因：为降维做准备，降低无表达变化基因的噪音信息干扰； （4） (3)Feature selection. library(scran) dec <- modelGeneVar(sce) hvg <- getTopHVGs(dec, prop=0.1) # (4)
1K20发布于 2021-04-16 - 来自专栏容器计算
Kubeflow Pipeline - 上传一个 Pipeline
1 Overview Pipeline 提供了几个内置的 Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个 Pipeline 都要基于 GCP Google 的云平台，但是我们的目的是在自己的集群部署 2 理解 Pipeline https://www.kubeflow.org/docs/pipelines/overview/pipelines-overview/ 从官网文档了解，什么是 Pipeline 然后 Pipeline 也提供了相关的工具来定义这个 Pipeline，不过都是 Python 的，当然这个对于数据科学家来说，不会是什么问题。 安装专门的 SDK Python 定义好 Pipeline SDK 构建 pipeline 的包，最后通过 UI 上传 请理解?脚本每一步的含义。 方便直接转换你写的 pipeline 文件。
1.5K30发布于 2020-08-06 - 来自专栏Pipeline
Armada pipeline
今天就是假期的最后一天了 明天大家就要开始上班了 今天向大家分享一波 这个是一个大佬 (Mike Bourbeau) 写的一个免费的开源pipeline工具集 虽然现在还只是Beta版 但是大家可以关注下 Toolkit，CGTeamWork，还有Ftrack Connect都有些类似 大家可以学习借鉴他的一些设计思路 见多识广总是好的 没准在日后的工作中有一些参考价值 下面是当前Armada pipeline 如下图所示，你只需要填0就可以获得下载链接 展示 如果你对他的工作十分感兴趣，你也可以去Patreon上面去赞助他 https://www.patreon.com/posts/armada-pipeline
60620编辑于 2022-07-14 - 来自专栏从码农的全世界路过
Redis Pipeline
pipeline是客户端向redis发送多条命令的通道. redis并没有在命令行中提供pipeline功能; 除去redis本身需要支持pipeline功能,其他各语言版的客户端都需要有相应的实现. 通常客户端请求执行一条命令分为以下四个步骤: 1.发送命令 2.命令排队 3.命令执行 4.返回结果 其中,第一步和第四步合称为round trip time(RTT,往返延时). pipeline的作用就是在需要执行多条命令时 pipeline和mget,mset命令类似可以发送多条命令给服务端同时执行,但pipeline更灵活,也不限于同一类型操作命令. 注意事项: 1. pipeline虽然好用,但是每次pipeline组装的命令个数不能太多,如果组装数据量过大,会增加客户端的等待时长,造成一定的网络阻塞. 最佳方式是将含有大量命令的pipeline拆分成多次较小的pipeline来完成. 2. pipeline在集群中应用时,应注意所执行命令需在同一服务器上,否则会引起slot错误.
81410编辑于 2022-06-20 - 来自专栏ops技术分享
pipeline groovy
) 3.闭包 //定义闭包 def codeBlock = {print "hello closure"} //闭包还可以直接当成函数调用 codeBlock() //输出hello closure 4. closure"} ) //由于括号是非必需的，所以 sayHello { print "hello closure" } //如果sayHello改成名字为pipeine就是，是不是很像jenkins的pipeline pipeline { print "hello closure" } 5.闭包另类用法，定义一个stage方法 //定义方法，传一个正常变量和一个闭包 def stage(String name,
1.9K21发布于 2021-06-02 深入解析Hadoop的Block多副本同步机制与Pipeline复制
扫描受影响Block的现存副本数 4. 使用备用DataNode重建Pipeline 4. 从最后一个确认的Packet开始恢复传输 机架感知与拓扑优化 HDFS通过机架感知策略智能构建Pipeline拓扑。 调整Pipeline的窗口大小参数，从默认的4MB提升至16MB 2. 启用压缩传输减少网络负载 3. 其自动驾驶测试车辆每小时产生约4TB的传感器数据，在同时启用多副本同步、Pipeline传输和状态机监控的情况下，系统出现了间歇性卡顿。 支持国密算法的端到端加密Pipeline，某金融机构实施的SM4加密方案使数据传输安全性提升的同时，性能损耗控制在8%以内 3.
50510编辑于 2025-08-27- 来自专栏生信菜鸟团
DNBC4tools—华大DNBelab系列单细胞分析pipeline
tar -xf dnbc4tools2.1.3.tar.gz ##添加到环境变量（可选） ln -s ~/software/dnbc4tools2.1.3/dnbc4tools ~/software/ bin/dnbc4tools 下载 解压直接使用 主要功能 单细胞RNA分析—- dnbc4tools rna run 使用单细胞 RNA 的 cDNA 和 oligo 文库测序数据，进行质量控制、比对和功能区域注释 单细胞VDJ分析— dnbc4tools vdj run 使用单细胞 VDJ 文库测序数据和对应样本的 5' 转录组分析结果。 基因类型过滤 cd ~/reference/human/homo_ensembl_112_dnbc4_index/ dnbc4tools tools mkgtf --ingtf . 结果html报告 一个巨坑 这个 pipeline 竟然有线程要求，应该是至少需要8线程往上。
4.6K11编辑于 2025-05-21 - 来自专栏hank
【分享】修改V4L2的Video Pipeline的devicetree
介绍 PetaLinux 能够根据Vivado的设计，自动生成V4L2的Video Pipeline的devicetree。但是它主要为Xilinx的VCU TRD服务，测试的组合比较少。 很多时候，需要根据自己的工程，修改V4L2的Video Pipeline的devicetree。 硬件设计 有项目需要对输入的视频，既需要对原始视频做编解码，也需要缩放后再做编解码。 devicetree 对于上述的硬件设计，对应的V4L2的devicetree如下： &amba_pl { /delete-node/ axis_broadcasterhdmi_input_axis_broadcaster _0@0; /* media-ctl prints out each node name of the video pipeline. 另外，V4L2的设备号，根据"xlnx,video"设备里的port顺序分配。 如果port@0在port@1后面，那么port@0也会被分配video1; 而port@1也会被分配video0.
1.3K10发布于 2021-07-29 - 来自专栏喵叔's 专栏
Scrapy Pipeline
在一个项目中会存在多种 Pipeline ，每个 Pipeline 都是一个 class ，其中包含了一些处理的 Item 的方法。 Item 会在这些 Pipeline 中按顺序依次传递，如果其中一个 Pipeline 丢弃了 Item ，那么后面未执行到的 Pipeline 将不会收到这个 Item 。 零、自定义 Pipeline 自定义 Pipeline 其实很简单，只需要实现指定的方法即可。 参数： spider : 当前正在使用的 Spider 4.from_crawl(self,crawler) 解释：方法为类方法，通过初始化 crawler 对象返回 Pipeline 实例。 ITEM_PIPELINS= { '自定义Pipeline 路径':'优先级' } 二、总结 本篇文章主要讲解了 Pipeline 的理论知识，虽然很短，但是这些知识是 Pipeline 的核心知识
81910发布于 2020-09-08 - 来自专栏Devops专栏
4.ConcurrentHashMap 锁分段机制
4.ConcurrentHashMap 锁分段机制 ConcurrentHashMap - Java 5.0 在 java.util.concurrent 包中提供了多种并发容器类来改进同步容器的性能。 内部采用“锁分段”机制替代 Hashtable 的独占锁。进而提高性能。 new Thread(ht).start(); } } } 演示如下： image-20201101235312600 ConcurrentHashMap 锁分段机制
75720编辑于 2022-03-23 - 来自专栏ops技术分享
pipeline是什么？
pipeline是什么？ pipeline是部署流水线(Deployment pipeline)，指从软件版本控制库到用户手中这一过程的自动化表现形式。 而Jenkins 2.x终于支持pipeline as code了，可以通过代码来描述部署流水线，还是同样的功能，部分操作通过代码配置运行后，也会在界面里显示出来。 pipeline的功能由pipeline插件提供，有的jenkins会自带，若没有则需要安装。 使用代码而不是UI的意义在于： 更好的版本化：将pipeline提交到版本库中进行版本控制 更好地协作：pipeline的每次修改对所有人都是可见的。 除此之外，还可以对pipeline进行代码审查 更好的重用性：手动操作没法重用，但是代码可以重用
2.1K20发布于 2021-05-31 - 来自专栏ops技术分享
pipeline when指令
一.简介 when指令允许pipeline根据给定的条件，决定是否执行阶段内的步骤。when指令必须至少包含一个条件。when指令除了支持branch判断条件，还支持多种判断条件。 = 'master'; } } buildingTag :如果pipeline所执行的代码被打了tag，则执行 when { buildingTag() } tag:如果pipeline所执行的代码被打了
1.4K10发布于 2021-06-03 - 来自专栏ops技术分享
pipeline 共享库
一.简介 当大量使用pipeline后，内置功能并不能照顾到所有需求，这时候需要扩展pipeline。 pipeline本质就是一个Groovy脚本。 所以，可以在pipeline中定义函数，并使用Groovy语言自带的脚本特性。 二.共享库扩展 Jenkins pipeline提供了“共享库”(Shared library)技术，可以将重复代码定义在一个独立的代码控制仓库中，其他的Jenkins pipeline加载使用它。 引入共享库后，我们可以直接在Jenkins pipeline中使用vars目录下的sayHello，和Jenkins pipeline的普通步骤的使用方式无异。 4.在Jenkinsfile中使用@Library引用共享库。 使用@Library注解可以指定共享库在代码仓库中的版本。
2.1K31发布于 2021-06-02 - 来自专栏ops技术分享
pipeline 步骤(上)
一.简介 步骤是pipeline里执行的最小单位了，这里列举内置的相关步骤方便使用，省的去写很多shell，也不方便维护。 二.文件相关 删除当前目录 无参步骤，删除的是当前工作目录。 deleteDir 切换到目录 默认pipeline工作在工作空间目录下(/root/.jenkins/workspace/xx项目名)，dir步骤可以让我们切换到其他目录。 a.jar') 输出状态 script { def status=fileExists('/tmp/a.jar') print "${status}" } 判断是否为类Unix 如果当前pipeline
1.2K31发布于 2021-06-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号