- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序员
流水线、超流水线、超标量（superscalar）技术对比
市场上推出的各种不同的1 6位/ 3 2位微处理器基本上都采用了流水线技术。如8 0 4 8 6和P e n t i u m均使用了6步流水线结构，流水线的6步为： ( 1 ) 取指令。 当流水线完全装满时，每个时钟周期平均有一条指令从流水线上执行完毕，输出结果，就像轿车从组装线上开出来一样。 超流水线 超级流水线以增加流水线级数的方法来缩短机器周期，相同的时间内超级流水线执行了更多的机器指令。 采用简单指令以加快执行速度是所有流水线的共同特点，但超级流水线配置了多个功能部件和指令译码电路，采用多条流水线并行处理，还有多个寄存器端口和总线，可以同时执行多个操作，因此比普通流水线执行的更快，在一个机器周期内可以流出多条指令 这种将标准流水线细分的技术，就是超级流水线技术。当然，流水线和超级流 水线之间并没有很明显的区别。
7K31发布于 2020-08-17 - 来自专栏用户9379187的专栏
Jenkins流水线
一、Jenkins流水线任务介绍之前采用Jenkins的自由风格构建的项目，每个步骤流程都要通过不同的方式设置，并且构建过程中整体流程是不可见的，无法确认每个流程花费的时间，并且问题不方便定位问题。 二、 Jenkins流水线任务1. 构建Jenkins流水线任务 构建任务 构建Jenkins流水线任务 生成Groovy脚本 Hello World脚本生成 构建后查看视图 构建后查看视图2. 每次构建会自动拉取项目并且获取项目中Jenkinsfile文件对项目进行构建 配置pipeline 配置pipeline 准备Jenkinsfile 准备Jenkinsfile文件 测试效果 测试效果三、Jenkins流水线任务实现 拉取Git代码通过流水线语法生成Checkout代码的脚本语法生成pipeline { agent any stages { stage('拉取Git代码') {
1.2K21编辑于 2022-08-24 - 来自专栏linux技术
jenkins流水线搭建
我这里采用的是 all-in-one 的配置，即所有操作都在一台主机上，如资源充足可以将 jenkins和gitlab 与后续项目容器分开部署
1.8K30编辑于 2023-03-17 - 来自专栏格物致知
CPU流水线详解
举例前先对流水线周期选取的问题进行一下解析，我们假设一辆成品车的生产过程分为车轮生产，车门生产，最后组装三个步骤，每辆车的车轮生产需要8s,车门需要12s，而最后的组装需要10s，在本例中生产厂商针对此情况设计了 其实在现实生产中由于工艺水平，原料特性以及制造难度的不同，每级流水线完成任务的时间都可能是不同的，这里如果选择8s或10s为整条流水线的周期将会导致车门生产线的任务不能在单位周期内完成，也就无法及时向下一级提交任务 8s，12s，10s减半，所以新流水线的周期选取为12s／2s＝6s），新流水线生产6辆汽车所花费的周期为12－1＝11，所花费的整体时间为11＊6＝66s，相对于上例的96s提升了30s，至此，我们已从理论上和实际上找到了增加流水线级数确实可以提高工作效率的依据 2增加流水线级数为什么能提升工作效率 我们对车辆1进行跟踪测试，其在3级流水线上的生产时间为8s+12s+10s=30s,同样是车辆1在6级流水线上的生产时间为4s+4s+6s+6s+5s+5s= CPU处理数据概率 CPU使用0-128K缓存的概率是80% CPU使用128-256K缓存的概率是10% CPU使用256-512K缓存的概率是5% CPU使用512-1M缓存的概率是
88030编辑于 2022-08-19 - 来自专栏罗西的思考
深度学习流水线并行Gpipe(1)---流水线基本实现
[源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 目录 [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 0x00 摘要 0x01 概述 1.1 什么是GPipe 但是流水线并行依然有一些问题： 显存效率：流水线并行减少的显存与流水线的阶段数成正比，使模型的大小可以随 worker 的数量线性扩展。但是，流水线并行不会减少每一层的激活函数的显存占用量。 __init__() self.net1 = torch.nn.Linear(10, 10).to('cuda:0') # 将net1放置在第1个GPU上 self.relu = torch.nn.ReLU # Approximately 10 flops per element. # 假设有7个sub-layers，其flops分别是 10，40，30，10，20，50,10 total, histo, output_shapes = 0, [], [] for i
2.1K20发布于 2021-08-24 - 来自专栏程序员
流水线、超流水线、超标量（superscalar）技术对比（转）
流水线 流水线技术是一种将每条指令分解为多步，并让各步操作重叠，从而实现几条指令并行处理的技术。 市场上推出的各种不同的1 6位/ 3 2位微处理器基本上都采用了流水线技术。如8 0 4 8 6和P e n t i u m均使用了6步流水线结构，流水线的6步为： ( 1 ) 取指令。 超流水线 超级流水线以增加流水线级数的方法来缩短机器周期，相同的时间内超级流水线执行了更多的机器指令。 采用简单指令以加快执行速度是所有流水线的共同特点，但超级流水线配置了多个功能部件和指令译码电路，采用多条流水线并行处理，还有多个寄存器端口和总线，可以同时执行多个操作，因此比普通流水线执行的更快，在一个机器周期内可以流出多条指令 这种将标准流水线细分的技术，就是超级流水线技术。当然，流水线和超级流 水线之间并没有很明显的区别。
2.7K20发布于 2020-08-17 - 来自专栏k8s技术圈
创建 Tekton 流水线
前面我们创建的两个任务 test 和 build-and-push 都已经完成了，我们还可以创建一个流水线来将这两个任务组织起来，形成一个流水线，这里就是我们要使用的 Pipeline 这个 CRD 对象 创建流水线 比如我们这里的流水线流程为先运行 test 任务，如果通过了再执行后面的 build-and-push 这个任务，那么我们可以创建一个名为 test-pipeline.yaml 的资源对象， 我们创建了由两个任务组成的 Tektok 流水线，第一个任务是从 GitHub 克隆代码并运行应用程序测试，第二个任务是构建一个 Docker 镜像并将其推送到 Docker Hub 上。 26ec43d351f2: Pushed [build-and-push : build-and-push] v0.3.0-20210617-125634: digest: sha256:68be388e3f85dd10a6689a986eb2f7f7f5a5c89bb03f40c3db3178e0ce242752 到这里我们就完成了使用 Tekton 创建 CI/CD 流水线的一个简单示例，不过这个示例还比较简单，接下来我们再通过一个稍微复杂点的应用来完成我们前面的 Jenkins 流水线。
1.1K40发布于 2021-06-25 - 来自专栏云云众生s
KitOps将DevOps流水线转变为MLOps流水线
在现有 DevOps 流水线旁边构建单独的 MLOps 流水线来管理这些方面会导致一些低效率： 重复工作：维护单独的流水线意味着为版本控制、部署和配置管理等任务重复工作。 想象一下为应用程序代码管理一个 DevOps 流水线，为训练好的模型、其依赖项和配置文件管理一个单独的 MLOps 流水线。这种冗余增加了开销，并在流水线之间引入了潜在的不一致性。 您应该看到如下输出： Version: 0.2.4-76ec9bc Commit: 76ec9bcf94e94177199522480871367138661125 Built: 2024-05-10T21 通过使用 KitOps 统一 DevOps 和 MLOps 流水线，团队可以获得以下好处： 降低复杂性：一个流水线简化了开发过程，减少了开销并简化了团队之间的协作。 提高一致性：一个统一的流水线确保了整个应用程序和 ML 模型生命周期中版本控制和配置管理的一致性。这降低了因管理单独的流水线而产生的错误和不一致的风险。
1.3K10编辑于 2024-06-24 - 来自专栏编舟记
流水线即代码
说得烂俗点，流水线已经是 CI/CD 实践过程中的“最后一公里”，让流水线变成软件开发中的“一等公民”（即代码）是大势所趋、民心所向。 这些问题会在流水线的演化过程中恶化得越来越严重。一般来讲，除非不再使用，否则流水线不会保持一成不变。 流水线自举 小结 流水线即代码是个新概念，也就意味着我们还需要花时间去探索与之相关的实践，比如，调试和测试（既然是代码就需要测试）。 一旦有了这些实践，我们就可以把流水线本身作为产品放到流水线上运作起来，那时将会看到一种很好玩的现象——旧的流水线会构建并部署新流水线，完成流水线的自举 (pipeline bootstrap) 。 此外，当流水线成为代码，它在最终的交付物中必然占据一席之地，其潜在的价值还等待我们挖掘，至少从精益的角度，流水线能做的事情还有很多。
94930发布于 2018-08-17 - 来自专栏希里安
流水线使用浅谈
## jenkins和gitlab-ci 有读者有疑惑，为什么先用gitlab-ci而不是jenkins，我这里就来简单对比下，gitlab的流水线和jenkins的流水线。 1. 与源码管理的结合: - GitLab CI:原生集成了Git,非常易于与GitLab仓库结合,可以自动检测仓库更改并运行流水线。 总之个人开发者或者小团队来讲可以选择gitlab的流水线足够使用，而规模大一点就根据实际选择gitlab或者jenkins流水线，结合使用。 所以,我们可以在同一个CI/CD流水线中,使用shell执行器构建应用,使用docker执行器部署应用。 如果一个Runner的job队列太长,可以注册更多Runner来提高CI流水线的处理能力。 . 不同机器资源。
90510编辑于 2023-10-30 - 来自专栏凹凸玩数据
从流水线工人到亚马逊数据分析师，坑多路远，10年小结
数据整理是为了从表现下，找到数据的规律 数据探索是了解数据的“生活作息”，大胆预测，挖掘商业价值 分析数据是利用数学逻辑得出分析结果 数据可视化是让我们更直观的了解数据分析的结果，对公司的业务进行指导 10 10年后，他们都在思考：我该如何用数据指导产品？【手动狗头】 虽然大数据分析看似是偏技术性质的岗位，但我的理解是，一个优秀的大数据分析师一定要对业务足够熟悉，甚至是整个公司的核心角色之一。 我见过太多的从业者，最后沦为底层【人肉脚本工程师】，变成流水线工人。 我被问到最多的问题是，如何快速入门数据分析师。
87810发布于 2020-03-12 - 来自专栏新亮笔记
部署流水线解析
什么是部署流水线 部署流水线是指软件从版本控制库到用户手中这一过程的自动化表现形式。 流水线的输入是版本控制中的某个具体版本。 部署流水线的相关实践 只生成一次二进制包； 对不同环境采用同一部署方式； 对部署进行冒烟测试； 向生产环境的副本中部署； 每次变更都要立即在流水线中传递； 只要有环节失败，就停止整个流水线； 提交阶段 每次提交都生成部署流水线的一个新实例。 缓解这类风险非常简单，只要把这个发布环节视为部署流水线的一个自然结果就行。 实现一个部署流水线 无论是从零创建新项目，还是想为已有的系统创建一个自动化的流水线，通常都应该使用增量方法来实现部署流水线。
78830编辑于 2022-05-17 - 来自专栏用户7873631的专栏
go 流水线模式
import ( "fmt"//输出包 ) func main() { out:=make(chan int)//创建无缓冲通道一个out go func(){ for i:=0;i<10 (out1)//全部+1后，关闭out通道. }() for v:=range out1{ fmt.Println(v) } } 解释： ，可以看到有两个goroutine构成了一个简单的流水线
26910编辑于 2024-03-24 - 来自专栏瓜大三哥
HLS应用流水线
主要对于FOR循环进行优化
74460发布于 2018-02-26 - 来自专栏ThoughtWorks
流水线即代码｜洞见
说得烂俗点，流水线已经是CI/CD实践过程中的“最后一公里”，让流水线变成软件开发中的“一等公民”（即代码）是大势所趋、民心所向。 ? 这些问题会在流水线的演化过程中恶化得越来越严重。 一般来讲，除非不再使用，否则流水线不会保持一成不变。 发布分支是主干分支某个时刻分出去的，它需要在那时的流水线上才能正常工作。由于前面所说雪花服务器的特征，重建这样一条流水线并不是一件容易的事情。 如何解决 其实，流水线即代码本身已经回答了这个问题。 一旦有了这些实践，我们就可以把流水线本身作为产品放到流水线上运作起来，那时将会看到一种很好玩的现象——旧的流水线会构建并部署新流水线，发生上文所说自举(bootstraping)现象，这也表明流水线是不断进化的 此外，当流水线成为代码，它在最终的交付物中必然占据一席之地，其潜在的价值还等待我们挖掘，至少从精益的角度，流水线能做的事情还有很多。
1.7K50发布于 2018-04-13 - 来自专栏DevOps
流水线插件开发从3天缩短到10分钟：AI技能实战
在企业DevOps落地中，流水线插件是工具对接、流程沉淀、平台扩展的核心。但插件开发往往面临门槛高、周期长、质量不稳定等问题。一个简单插件，两三天就这么耗进去了。 01插件开发的真实困境业务提了一个常见需求：做一个流水线插件，对接内部系统，构建后把制品上传到仓库，再把结果回写到流水线。 02同样的需求，现在只需要10分钟还是同一个场景，现在研发明确业务需求后，只需要做一件事：用日常说话的方式，把需求写出来。 “开发Python流水线插件，使用平台凭证，读取流水线上下文，调用内部OpenAPI，构建后上传制品到bkrepo，并回写输出参数。”剩下的交给“流水线插件自动生成Skill”帮你完成。 04企业级能力，落地更可靠“流水线插件自动生成Skill”不是简单的代码生成，而是从工程实践里长出来的实用能力。生成的插件直接达到可打包、可上传标准，不用二次整改。
21310编辑于 2026-05-13 用 nconvert 搭建 XnView 批量处理流水线：从单文件到 10 万张自动化
本文从一个最朴素的单文件转换命令开始，逐步搭出能丢到生产 cron 里的批量流水线。 OSUbuntu 22.04 LTS（也跑过 macOS 14 / Win11，命令一致）XnView MP1.8.5（提供 GUI 工具链）nconvert7.151（独立 CLI，MP 同捆）样本10 四、流水线化：四步处理生产里基本是四步：转换 → 水印 → 元数据 → 归档。 10 万张 ARW → 1080 JPEG，机器 i7-12700H： 模式耗时吞吐单进程7h 20m~3.8 张/秒xargs -P 858m~28 张/秒GNU parallel - 一个下午从 0 搭出能扛 10 万张/天的批处理流水线，不需要任何商业组件。
19010编辑于 2026-08-17- 来自专栏shigen的学习笔记
CICD流水线实战
先分享一下shigen的学习视频资源：CICD流水线实战git分布式版本控制器。gitlab可以创建私人的仓库，github私有仓库需要付费。SVN 不推荐！ 最后，总结一下jenkins的自动化流程的步骤：图片pipline流水线参考文章：pipeline流水线以上就是shigen最近几天学习的成果，关于CICD流水线实战的全部内容。
98720编辑于 2023-08-15 - 来自专栏DevOps持续集成
加快GitLabCI流水线构建！
GitLab.com 提供共享的Runner程序供每个存储库使用，虽然这对于快速开始来说是很棒的，但我们发现最大的单项速度提升来自接待我们自己的Runner。对我们来说，瓶颈实际上不是CPU或RAM，而是网络。在私有云服务器上，网络速度大大提高。网络速度对于构建和部署尤其重要。构建通常需要下载库，依赖项，Docker映像等，而部署则需要将资源上传到其他位置。当网络挤满了GitLab的共享Runner时，这些阶段就会很慢。
1K10编辑于 2021-12-13 - 来自专栏立权的博客
Hadoop架构: 流水线(PipeLine)
整条流水线由若干个DataNode串联而成，数据由客户端流向PipeLine，在流水线上，假如DataNode A 比 DataNode B 更接近流水线 那么称A在B的上游(Upstream)，称B 当客户端收到第一个DataNode的ACK，表明此次Packet的传输成功 一.流水线基础概念 流水线就像一条水管，数据（Packets）从一端流进去，依次经过流水线上的各个DataNode。 流水线关闭，DataNode可以将块的状态设置为FINALIZED并且DataNode向NameNode汇报 四.流水线的建立 流水线建立的时机: 1.客户端请求新建一个Block，需要新建流水线， 最后一步： 如果建立的流水线是用来恢复或者Append的，那么将会通知NameNode，流水线完成，告知NameNode更新流水线信息(块的位置等)。 重新架构流水线： 如果上述所有步骤不成功，则会重新建立流水线(进行流水线恢复)。
91520发布于 2020-09-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号