- 综合排序
- 最热优先
- 最新优先
- 来自专栏容器计算
Kubeflow Pipeline - 上传一个 Pipeline
1 Overview Pipeline 提供了几个内置的 Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个 Pipeline 都要基于 GCP Google 的云平台，但是我们的目的是在自己的集群部署 2 理解 Pipeline https://www.kubeflow.org/docs/pipelines/overview/pipelines-overview/ 从官网文档了解，什么是 Pipeline 然后 Pipeline 也提供了相关的工具来定义这个 Pipeline，不过都是 Python 的，当然这个对于数据科学家来说，不会是什么问题。 安装专门的 SDK Python 定义好 Pipeline SDK 构建 pipeline 的包，最后通过 UI 上传 请理解?脚本每一步的含义。 方便直接转换你写的 pipeline 文件。
1.5K30发布于 2020-08-06 - 来自专栏Pipeline
Armada pipeline
今天就是假期的最后一天了 明天大家就要开始上班了 今天向大家分享一波 这个是一个大佬 (Mike Bourbeau) 写的一个免费的开源pipeline工具集 虽然现在还只是Beta版 但是大家可以关注下 Toolkit，CGTeamWork，还有Ftrack Connect都有些类似 大家可以学习借鉴他的一些设计思路 见多识广总是好的 没准在日后的工作中有一些参考价值 下面是当前Armada pipeline 如下图所示，你只需要填0就可以获得下载链接 展示 如果你对他的工作十分感兴趣，你也可以去Patreon上面去赞助他 https://www.patreon.com/posts/armada-pipeline
59820编辑于 2022-07-14 - 来自专栏从码农的全世界路过
Redis Pipeline
pipeline是客户端向redis发送多条命令的通道. redis并没有在命令行中提供pipeline功能; 除去redis本身需要支持pipeline功能,其他各语言版的客户端都需要有相应的实现. pipeline和mget,mset命令类似可以发送多条命令给服务端同时执行,但pipeline更灵活,也不限于同一类型操作命令. 注意事项: 1. pipeline虽然好用,但是每次pipeline组装的命令个数不能太多,如果组装数据量过大,会增加客户端的等待时长,造成一定的网络阻塞. 每条命令的结果值会存储在socket的output缓冲区,所以redis能同时所能支撑的pipeline链接的个数也是有限的. 最佳方式是将含有大量命令的pipeline拆分成多次较小的pipeline来完成. 2. pipeline在集群中应用时,应注意所执行命令需在同一服务器上,否则会引起slot错误.
80410编辑于 2022-06-20 - 来自专栏ops技术分享
pipeline groovy
closure"} ) //由于括号是非必需的，所以 sayHello { print "hello closure" } //如果sayHello改成名字为pipeine就是，是不是很像jenkins的pipeline pipeline { print "hello closure" } 5.闭包另类用法，定义一个stage方法 //定义方法，传一个正常变量和一个闭包 def stage(String name,
1.9K21发布于 2021-06-02 - 来自专栏喵叔's 专栏
Scrapy Pipeline
在一个项目中会存在多种 Pipeline ，每个 Pipeline 都是一个 class ，其中包含了一些处理的 Item 的方法。 Item 会在这些 Pipeline 中按顺序依次传递，如果其中一个 Pipeline 丢弃了 Item ，那么后面未执行到的 Pipeline 将不会收到这个 Item 。 零、自定义 Pipeline 自定义 Pipeline 其实很简单，只需要实现指定的方法即可。 我们在编写完 Pipeline 后需要在 settings.py 文件中进行注册，将我们编写的 Pipeline 注入到 Scrapy 中。 ITEM_PIPELINS= { '自定义Pipeline 路径':'优先级' } 二、总结 本篇文章主要讲解了 Pipeline 的理论知识，虽然很短，但是这些知识是 Pipeline 的核心知识
81310发布于 2020-09-08 - 来自专栏ops技术分享
pipeline 共享库
一.简介 当大量使用pipeline后，内置功能并不能照顾到所有需求，这时候需要扩展pipeline。 pipeline本质就是一个Groovy脚本。 所以，可以在pipeline中定义函数，并使用Groovy语言自带的脚本特性。 二.共享库扩展 Jenkins pipeline提供了“共享库”(Shared library)技术，可以将重复代码定义在一个独立的代码控制仓库中，其他的Jenkins pipeline加载使用它。 共享库使用 在pipeline里调用 @Library( 'global-shared-library')_ pipeline { agent any stages { 引入共享库后，我们可以直接在Jenkins pipeline中使用vars目录下的sayHello，和Jenkins pipeline的普通步骤的使用方式无异。
2.1K31发布于 2021-06-02 - 来自专栏ops技术分享
pipeline 步骤(上)
一.简介 步骤是pipeline里执行的最小单位了，这里列举内置的相关步骤方便使用，省的去写很多shell，也不方便维护。 二.文件相关 删除当前目录 无参步骤，删除的是当前工作目录。 deleteDir 切换到目录 默认pipeline工作在工作空间目录下(/root/.jenkins/workspace/xx项目名)，dir步骤可以让我们切换到其他目录。 a.jar') 输出状态 script { def status=fileExists('/tmp/a.jar') print "${status}" } 判断是否为类Unix 如果当前pipeline
1.2K31发布于 2021-06-03 - 来自专栏ops技术分享
pipeline是什么？
pipeline是什么？ pipeline是部署流水线(Deployment pipeline)，指从软件版本控制库到用户手中这一过程的自动化表现形式。 而Jenkins 2.x终于支持pipeline as code了，可以通过代码来描述部署流水线，还是同样的功能，部分操作通过代码配置运行后，也会在界面里显示出来。 pipeline的功能由pipeline插件提供，有的jenkins会自带，若没有则需要安装。 使用代码而不是UI的意义在于： 更好的版本化：将pipeline提交到版本库中进行版本控制 更好地协作：pipeline的每次修改对所有人都是可见的。 除此之外，还可以对pipeline进行代码审查 更好的重用性：手动操作没法重用，但是代码可以重用
2.1K20发布于 2021-05-31 - 来自专栏ops技术分享
pipeline when指令
一.简介 when指令允许pipeline根据给定的条件，决定是否执行阶段内的步骤。when指令必须至少包含一个条件。when指令除了支持branch判断条件，还支持多种判断条件。 = 'master'; } } buildingTag :如果pipeline所执行的代码被打了tag，则执行 when { buildingTag() } tag:如果pipeline所执行的代码被打了
1.4K10发布于 2021-06-03 - 来自专栏vivo互联网技术
【干货】Pipeline as Code
鄢倩 是ThoughtWorks高级咨询师，译有《Java线程与并发编程实践》和《七周七语言卷二》。在Cloud Native 和 Cloud Security 领域拥有丰富的设计和实施经验。精通敏捷管理及其技术实践，擅长在大型IT企业进行软件架构演进、持续集成、持续交付以及前沿技术的研究推动。
1.3K20发布于 2019-03-19 - 来自专栏DevOps持续集成
Groovy Jenkins Pipeline
解决方案：使用“ Jenkins Pipeline”将作业定义为Groovy代码 使用插件套件“ Jenkins Pipeline”，您可以将不同的作业定义为Groovy代码。 Coffee-Service, Food-Service: Jenkinsfile def pipeline stage('Load pipeline') { // Load the pipeline from the shared repository fileLoader.withGit( 'https://url-to-pipeline-repo.git', 'master ', ' id-of-in-jenkins-stored-credentials') { // Every service is able to use pipeline.groovy pipeline = fileLoader.load('pipeline.groovy') } } pipeline.execute() Pipeline Repo: pipeline.groovy
1.7K10发布于 2019-11-12 - 来自专栏AI异构
Intel OpenCL 之 Pipeline（三）不能pipeline的可能情况
对Single work item形式的kernel来说，最重要的优化策略就是让loop能够pipeline，并且让II值尽可能为1。 结果是外层嵌套的循环通通不能pipeline。 if(){ break;//注意，break尽量不要用 } } } 上面这些情况，都会导致外层循环pipeline失败，因为编译器没办法在内层循环做pipeline时，对外层循环做插入 正常情况下，pipeline应该是这样的： pipeline-31 但是发生 out-of-order loop 时，循环的执行会变成下面这样，使性能大打折扣： pipeline-32 示例 下面这个例子 结果就是外层循环不能pipeline。
99740发布于 2020-07-29 - 来自专栏运维专栏
Jenkins Pipeline演进
看一下早些时候写的pipeline： 仓库是自己搞的 直接先xxxx了。偷懒写的明文用户名密码，docker image仓库直接使用的腾讯云的镜像仓库个人版。 echo env.data pipeline { agent any parameters { gitParameter branchFilter: 'origin/( [image.png] 也做了这样的测试，但是到pipeline里面是不是要转成列表还要循环？这样的步骤个人不熟悉。放弃了。 最终用了另外一种方式：对于每一个子项目。我都添加了一个布尔值参数。 放入pipeline脚本即可。 先把这流水线改的顺眼一些吧....另外这周when的判断还是有点抵触，后面看看能不能有更好的方法去简练一些pipeline呢。当前就是看着顺眼能跑。
1.2K11发布于 2021-05-11 - 来自专栏sealyun
Tekton Pipeline教程
概览 Tekton Pipeline,是一个k8s native的pipeline, 任务跑在pod中，通过自定义CRD去管理任务与工作流等等，我看完tekton之后感觉是功能很强大，但是有点过度设计了 Pipeline Pipeline定义要按顺序执行的任务列表，同时还通过使用该from字段指示是否应将任何输出用作后续任务的输入，并指示执行的顺序（使用runAfter和from字段）。 例如： apiVersion: tekton.dev/v1alpha1 kind: Pipeline metadata: name: tutorial-pipeline spec: resources -1 spec: pipelineRef: name: tutorial-pipeline trigger: type: manual resources: - name 中的容器是共享了一个数据卷的，这样上个任务产生的文件很方便的给下个任务用，而基于集群的任务就可能得依赖git docker镜像仓库等做输入输出，有点麻烦，好的解决办法是利用k8s分布试存储给pipeline
3.7K31发布于 2019-08-26 - 来自专栏云原生实验室
Tekton Pipeline 教程
Tekton Pipeline 是一个 k8s native 的 pipeline, 任务跑在 pod 中，通过自定义 CRD 去管理任务与工作流等等，我看完 tekton 之后感觉是功能很强大，但是有点过度设计了 获取 pipeline全部信息： $ kubectl get build-pipeline NAME Pipeline Pipeline 定义要按顺序执行的任务列表，同时还通过使用该 from 字段指示是否应将任何输出用作后续任务的输入，并指示执行的顺序（使用 runAfter 和 from 字段）。 以上 Pipeline 是引用一个 Task deploy-using-kubectl： ? 要运行 Pipeline，请创建 PipelineRun 如下： ? 执行与查看 pipeline: $ kubectl apply -f < name-of-file.yaml > $ kubectl get pipelineruns tutorial-pipeline-run
1.7K20发布于 2019-09-17 - 来自专栏ops技术分享
pipeline post指令
一.介绍 post步骤包含的是在整个pipeline或阶段完成后一些附加的步骤。post步骤是可选的，所以并不包含在声明式pipeline最简结构中，但这并不代表它作用不大。 二.参数说明 参数位置： pipeline或steps部分，根据完成状态，做出判断。 以下是post部分的完整示例 注意： post步骤在阶段中，为steps后面抒写 post步骤的每个判断，都会匹配，而非第一个匹配了，其它就跳过了 三.使用实例 编写简单实例： pipeline { echo "post condition executed: aborted ..." } } } } } 文章编写时，添加了regression选项的判断，但执行报了以下错误，说明当前pipeline
1.6K20发布于 2021-06-02 - 来自专栏码农UP2U
Redis | 管道 —— PipeLine
在我们使用 Redis 的时候，通常是使用一条一条的命令来进行操作，比如我们可以执行一个 “set key1 value1” 这样的操作，然后再执行一个 "set key2 value" 这样的操作。Redis 是基于客户端和服务端的模式，当客户端和服务端进行通信的时候，通常会使用 Socket 来进行网络的通信。当我们执行 "set key value" 时，客户端会对服务器发送一个数据包，当我们再次执行 "set key2 value2" 时，客户端又会对服务器发送一个数据包。这样，看起来没有什么太多的问题，但是当数据量过大的时候，这样的发送会产生一定的网络延时，如果通过 Wireshark 一类的软件抓包的话，可以看到每次执行命令时，都会发送一个 PSH 包和一个 ACK 的包。为了在大量数据写入 Redis 时可以降低时延，Redis 引入了管道。
3.8K41发布于 2020-10-29 - 来自专栏ops技术分享
jenkins pipeline语法
一.声明式 声明式Pipeline必须包含在名为pipeline的语句块中，典型的声明式Pipeline语法如下 pipeline { agent any environment { } } stage("Test") { steps { sh 'echo Testing...' } } } } 一个合法的Pipeline 遵从下面的几个原则： 顶层语句块只能是pipeline {} 每一个语句只能写在一行，没有分隔符，例如分号“;” 结构块只能是Sections、Directive、steps或者赋值语句其中之一 所有的属性引用都被视为没有参数的方法调用 ，例如input等同于input() 二.脚本式 Scripted Pipeline对语法的要求比较宽松，顶层可以是node，也可以是stage。 典型的脚本式Pipeline语法如下： node { stage("Build") { sh 'echo Building...' } stage("Test"){
70120发布于 2021-06-02 - 来自专栏冷环渊的全栈工程师历程
Netty原理：pipeline
ChannelPipeline pipeline中维护入站和出站链路，两条链路的执行顺序。 handler只负责处理自身的业务逻辑，对通道而言，它是无状态的。 通道的信息会保存到handlerContext处理器上下文中，它是连接pipeline和handler之间的中间角色。 pipeline管理的是由handlerContext包裹的handler，也就是说，当添加handler时，先将其转为handlerContext，然后添加到pipeline的双向链表中。 ch.pipeline().addLast(new NettyServerHandler()); [DefaultChannelPipeline] ----------------------- channel was not registered on an eventLoop yet. // In this case we add the context to the pipeline
69810发布于 2021-11-26 - 来自专栏Lansonli技术博客
Python:Item Pipeline
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。 以下是item pipeline的一些典型应用： 验证爬取的数据(检查item包含某些字段，比如说name字段) 查重(并丢弃) 将爬取结果保存到文件或者数据库中 编写item pipeline 编写item pipeline很简单，item pipiline组件是一个独立的Python类，其中process_item()方法必须实现: import something class SomethingPipeline 组件都需要调用该方法， # 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
65610发布于 2021-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号