- 综合排序
- 最热优先
- 最新优先
- 来自专栏ops技术分享
jenkins并行构建
通过仔细分析你会发现，这些测试是可以并行执行的。就像原来只有一个测试人员，要测试4个浏览器，他只能测试完一个浏览器，再测试另一个浏览器，但是现在有4个测试人员，他们就可以同时进行测试。 很明显，Jenkins pipeline插件支持这种并行构建，并且使用起来也非常简单。 位于parallel块下的阶段都并行执行，而且并行阶段还可以被分到不同的Jenkins agent上执行。 如果希望所有并行阶段中的某个阶段失败后，就让其他正在执行的阶段都中止，那么只需要在与parallel块同级的位置加入failFast true就可以了。
2K10发布于 2021-06-01 - 来自专栏罗西的思考
PyTorch 流水线并行实现 (6)--并行计算
[源码解析] PyTorch 流水线并行实现 (6)--并行计算 目录 [源码解析] PyTorch 流水线并行实现 (6)--并行计算 0x00 摘要 0x01 总体架构 1.1 使用 1.2 前向传播 1.3 Pipeline 类 1.3.1 构建依赖 1.3.2 Queue 1.3.3 计算 0x02 并行拷贝和计算 2.1 GPU并行操作 2.2 PyTorch 2.3 Stream 封装 2.3.1 PyTorch 样例 2.3.2 生成/获取 2.3.3 记录 2.3.4 等待 2.4 拷贝API 2.5 等待API 2.6 使用 2.6.1 总体概念 2.6.2 构建拷贝流 2.6.3 并行操作 --- 通信模块 [源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略 [源码解析] PyTorch 流水线并行实现 (1)--基础知识 [源码解析] PyTorch 流水线并行实现 在 Pipeline 之中，fence 方法（省略部分代码）利用 depend 来构建后向传播的依赖关系。
1.9K20发布于 2021-10-13 - 来自专栏每月技术成长
CNB 环境构建加速 -- 并行 job
上文CNB 环境构建实践总结提到通过编写 script 而非直接修改 .cnb.yml 或构建镜像的方式，进行环境配置。 利用 CNB 的并行 job 特性，可以在开发环境配置时间从 2 min 降低至46 s，实现高达 66%的开发环境配置时间优化的同时，确保 log 保持相应结构便于debug，从而提升云原生开发使用体验 串行/并行 jobCNB pipeline 中，stages 是串行执行的，但每个 stage 中的 job 可以串行/并行运行，因此可以将环境配置 script 拆解为多个 script，通过并行 job script: echo "job1" - name: job2 script: echo "job2" 并行 apt 等系统包管理器安装相应软件如 cmake、ninja 等使用 curl 下载并运行指定 script，安装特定工具如 nvm、bun 等因此可以将这两部分拆解为两个及以上的 script，利用并行
27710编辑于 2025-11-30 - 来自专栏GreatSQL出品技术文章
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 ---- MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制： spm_id_from=333.999.0.0&vd_source=ae1951b64ea7b9e6ba11f1d0bbcff0e4 ---- 文章推荐： 实现一个简单的Database5(译文） 直播
88820编辑于 2023-02-22 - 来自专栏MySQL修行 | 老叶茶馆
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周，先赞一个 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 利用sysbench构建一个有400万行记录的测试表，只有一个主键索引时，表空间物理文件大小为1044381696 Bytes，添加完测试索引后，表空间物理文件大小涨到1434451968 Bytes， 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制：
98120编辑于 2022-12-02 - 来自专栏我是攻城师
如何使用Spark大规模并行构建索引
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法更简洁等一系列优点 @(Field@field)("dtime") dtime:String ) /*** * Spark构建索引 , String, String, String, String, String)={ array match { case Array(s1, s2, s3, s4, s5, s6, s7, s8) => (s1, s2, s3, s4, s5, s6, s7,s8) } } /*** * 对field进行加工处理 * 空值替换为 ,格式一定是约定好的 val rdd = sc.textFile("hdfs://192.168.1.187:9000/user/monitor/gs/"); //通过rdd构建索引
1.8K40发布于 2018-05-14 - 来自专栏悠扬前奏的博客
Java并行-6.线程优先级
线程可以有自己的优先级，优先级高的线程在竞争资源时会更有优势，但是这不是绝对的。 Java线程优先级整型成员变量priority来标识，范围从1到10，数字越大优先级越高。其中有三个静态标量： public final static int MIN_PRIORITY = 1; public final static int NORM_PRIORITY = 5; public final static int MAX_PRIORITY = 10; 以下代码可以展示优先级高的线程倾向于更快完成： package
62220发布于 2019-05-28 - 来自专栏sktj
python 多线程 条件condition(并行编程 6)
class Consumers(threading.Thread): def init(self): threading.Thread.init(self)
55140发布于 2019-07-30 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（十）：并行、集群与分区
多线程的问题 6. 作业中的并行执行 二、Carte子服务器 1. 创建Carte子服务器 2. 定义子服务器 3. 远程执行 4. 监视子服务器 5. Carte安全 6. 6. 作业中的并行执行 默认情况下，作业中的作业项按顺序执行，必须等待一个作业项执行完成后才开始执行下一个。 .%20%E5%B9%B6%E8%A1%8C%E6%89%A7%E8%A1%8C”所述，在作业里也可以并行执行作业项。 Dynamic cluster：如果设置了这个选项，Kettle会在主服务器上自动搜寻子服务器列表，来构建集群。 2. 设计集群转换 设计一个集群转换，需要先设计一个普通的转换。 深入介绍了如何使用多台子服务器构建一个集群，如何构建转换来利用这些子服务器资源。 最后介绍了如何使用Kettle的数据库分区模式来并行处理数据库的读写操作。
2.5K52发布于 2020-12-08 - 来自专栏后端开发技术
掌握并行处理：理解并构建自己的线程池
THREAD_POOL_CLOSED = -3,THREAD_COND_FAIL = -4,THREAD_POOL_TASK_QUE_FULL = -5,THREAD_COND_SIGNAL_FAIL=-6, （6）线程池的作用：复用线程资源，充分利用系统资源，异步执行耗时任务。
33610编辑于 2024-09-23 - 来自专栏腾讯云数据库(TencentDB)
如何在庞大代码库上构建并行计算能力？
本文分析如何通过关键抽象来划分层次和管理复杂性，在庞大的 MySQL 代码库上构建并行计算能力，并通过基准测试数据来体现加速效果。 具体地讲， TXSQL 内核在 8.0 上构建了并行查询基础框架，结合 MySQL 代码特点，采用计划复现方案，解决并行任务（执行计划片段）的分发难题，常规计算逻辑可以快速适配到并行计算。 TXSQL 并行查询在基本运算之上构建并行任务，支持算子内并行和算子间并行 [18]。 并行执行计划是在原始执行计划上构建的粗粒度表示，基于四个关键抽象：并行任务，数据交换，分区队列和任务依赖图。 七、项目迭代与质量保证 TXSQL 并行查询遵循迭代开发过程，先构建基础框架，然后逐步支持更多计算结构，同时进行性能优化。
94430编辑于 2023-03-30 - 来自专栏Y-StarryDreamer
『Jenkins』Jenkins中的并行构建与流水线优化
并行构建：指在同一流水线中同时运行多个构建任务。通过并行化的方式，可以显著减少构建的总时间。 流水线优化：指对流水线的各个环节进行优化，减少不必要的等待时间，提升流水线的整体效率。 Jenkins支持在流水线中配置并行构建任务。 并行构建的概念 并行构建指在一个流水线中，将多个任务分配到不同的执行节点上，同时进行构建、测试等操作，最终合并结果。 这对于多个独立模块的构建特别有效，能够减少等待时间。 在Jenkins中实现并行构建 1. 声明式流水线中的并行构建 在声明式流水线中，可以通过parallel语法来实现并行构建。 配置并行构建的节点 为了提高并行构建的效率，Jenkins支持将不同的构建任务分配给不同的执行节点。通过agent关键字，可以指定不同的节点进行并行任务的执行。 通过将这些步骤并行化，能够显著减少构建的总时间。例如，构建、测试和部署步骤可以根据依赖关系进行并行化。
1.3K10编辑于 2025-02-06 - 来自专栏DevOps持续集成
微服务模式下如何实现多模块并行构建发布
用户选择要发布的微服务，然后根据服务名称并行触发每个要发布服务的流水线进行构建和发布。 我们先来看看如何使用pipeline中的parallel语法，这里列举了两个例子：并行任务、并行阶段。 def tasks = [:] //定义要并行的任务名称和任务 tasks["build01"] = {sh "ls"} tasks["build02"] = {sh "ls"} //并行 parallel tasks 并行阶段 并行stage也是一种经常用到的运行方式，我们可以使用这种方式解决不必要的时间浪费，尤其在各个平台运行自动化测试的时候，我们不必等到windows平台验证完成再进行Linux系统中的验证 parallel parallelMap //判断状态 for ( i in buildStatus.keySet()){ currentBuild.description = "构建信息 在各个模块之间没有发布顺序的时候，我们可以使用Pipeline的Parallel语法进行项目的并行构建。加快发布速度，减少重复手工操作成本。
1.3K20发布于 2020-04-22 - 来自专栏数说工作室
3行代码实现 Python 并行处理，速度提高6倍！
（2）快的方法 concurrent.futures 模块能够利用并行处理来帮我们加速，什么是并行处理，举个例子： 假设我们要把1000个钉子钉入一块木头里，钉一次要1秒，那么1000次就要1000秒。 这就是并行处理 这1000张照片，也可以分成多个进程来处理。 ，就同时启动6个项。 这个语句意味着，用6个进程，来并行对 image_file 文件进行 load_and_resize 处理。 （3）例外情况 由于并行的处理是没有顺序的，因此如果你需要的结果是按照特定顺序排列的，那么这种方法不是很适用。
2.4K50发布于 2018-10-23 - 来自专栏技术杂记
Docker 中构建 Jenkins6
报错 出现了报错 通过官方的文档，和docker hub中的说明没有找到根本原因 通过google，有人使用keystore解决了这个bug 暂时不使用https，降级构建Dockerfile (去掉https 会丢失安全性，之后再回头慢慢研究原因) 注释掉https的相关配置，然后再构建镜像 [root@docker build]# vim Dockerfile [root@docker build]# cat Pushed fc39417bd5fb: Pushed 0c27fdb0b33b: Pushed 55422ac36eba: Pushed b48f4074fc73: Pushed 53e20479e6a7 : Pushed 585059426ec6: Pushed 6234bb424ca2: Pushed b31b78b6c124: Pushed 7e844a128314: Pushed 6842d0a24c05 : Pushed 9afbe4c3ddc8: Pushed ff135e80b6aa: Pushed 05e608b5b672: Pushed b12dfca65359: Pushed 4ee671494b6b
37920编辑于 2022-01-21 - 来自专栏一Li小麦
vue 随记（6）：构建的艺术
vite的构建艺术 Vite 是一个由原生 ESM 驱动的 Web 开发构建工具。在开发环境下基于浏览器原生 ES imports 开发，在生产环境下基于 Rollup 打包。 •生产环境提供了 vite build 脚本进行打包，它基于 rollup 进行打包 vite构建的简单过程可以看到如下： ? 此过程可以理解为“只解析，不打包”。
1.2K20发布于 2020-07-28 - 来自专栏技术杂记
Rails 构建评论功能（6）
如果程序中重复代码达到一定量级，会影响可读性和可维护性，这时我们可以将其中重复部分抽出来，单独成块
63330发布于 2021-10-20 - 来自专栏菩提树下的杨过
LangGraph4j 学习系列(6)-并行工作流
接上节继续，本篇将学习如何实现并行工作流。 上面这张图，用代码很容易绘制，参考以下代码。 GraphDefinition.END) .addEdge("node-3", GraphDefinition.END); } 性能问题 虽然图上看着貌似node-2,node-3并行在跑 = Executors.newFixedThreadPool(2); RunnableConfig rc = RunnableConfig.builder() //从node-1开始并行执行 Executors.newVirtualThreadPerTaskExecutor(); RunnableConfig rc2 = RunnableConfig.builder() //从node-1开始并行执行
22910编辑于 2026-03-02 - 来自专栏鸿的学习笔记
聊聊并行并行编程
并行编程主要聚焦于性能，生产率和通用性上。 所谓性能，更像是可扩展性以及效率。不再聚焦于单个CPU的性能，而是在于平均下来CPU的性能。 并行和并发有着小小的区别：并行意味着问题的每个分区有着完全独立的处理，而不会与其他分区进行通信。并发可能是指所有的一切事务， 这可能需要紧密的，以锁的形式或其他的互相通信的方式形成的相互依赖。 因为并行编程的相对较难，导致工程师的生产率不会太高，会聚焦于更精密的细节，花费大量的时间。 并行任务变得复杂不仅仅在于之上的原因，更因为： 1.对代码，对任务的分割，这会导致错误处理以及事件处理更为复杂。如果并行程序之间会牵扯到交互，通信的时间成本，共享资源的分配和更新更为复杂。 2.并行访问控制，单线程的应用程序可以对本实例中的所有资源具有访问权，例如内存中的数据结构，文件之类的。
1.4K10发布于 2018-08-06 - 来自专栏代码编写世界
CMake构建学习笔记6-giflib库的构建
前面构建的zlib、libpng、libjpeg和libtiff都提供了CMakeList.txt文件，因此都可以通过CMake进行构建。 不过有的依赖库是并没有CMakeList.txt文件，也就是官方没有提供CMake的构建方式，例如本篇要说的GIFLIB。GIFLIB是一个开源的C库，用于处理GIF（图形交换格式）图像文件。 GIFLIB是个典型的基于Linux环境的开源库，使用Makefile组织项目配置文件，在Linux环境中通过make工具进行构建。那么在Windows下如何进行构建呢？ ，指定构建类型 cmake --build . --config RelWithDebInfo # 安装阶段，指定构建类型和安装目标 cmake --build . --config RelWithDebInfo --target install
49510编辑于 2024-12-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号