- 综合排序
- 最热优先
- 最新优先
- 来自专栏ops技术分享
jenkins并行构建
通过仔细分析你会发现，这些测试是可以并行执行的。就像原来只有一个测试人员，要测试4个浏览器，他只能测试完一个浏览器，再测试另一个浏览器，但是现在有4个测试人员，他们就可以同时进行测试。 很明显，Jenkins pipeline插件支持这种并行构建，并且使用起来也非常简单。 位于parallel块下的阶段都并行执行，而且并行阶段还可以被分到不同的Jenkins agent上执行。 如果希望所有并行阶段中的某个阶段失败后，就让其他正在执行的阶段都中止，那么只需要在与parallel块同级的位置加入failFast true就可以了。
2K10发布于 2021-06-01 - 来自专栏科学计算
11 并行计算
0.77 seconds 9 finished in 0.38 seconds 12 finished in 0.11 seconds 7 finished in 0.88 seconds 11 我们把用来执行并行任务的进程称为 “worker”，假如总共只有一个进程，那么进程1就被认为是 worker，否则，除了进程1以外的进程都称作 worker。 .+ fetch(r) fetch(s) 要想让代码并行执行，需要对所有进程都可见 function f1(a,b) a + b end fetch(@spawn f1(2,3)) 这是因为
1.5K20发布于 2020-06-30 - 来自专栏sktj
python 多进程 (并行编程 11)
def foo(i): print('called function in process %s' % i) if name=="main": pros=[] for i in range(5): p=multiprocessing.Process(target=foo,args=(i,)) pros.append(p) p.start() p.join()
75320发布于 2019-07-30 - 来自专栏每月技术成长
CNB 环境构建加速 -- 并行 job
上文CNB 环境构建实践总结提到通过编写 script 而非直接修改 .cnb.yml 或构建镜像的方式，进行环境配置。 利用 CNB 的并行 job 特性，可以在开发环境配置时间从 2 min 降低至46 s，实现高达 66%的开发环境配置时间优化的同时，确保 log 保持相应结构便于debug，从而提升云原生开发使用体验 串行/并行 jobCNB pipeline 中，stages 是串行执行的，但每个 stage 中的 job 可以串行/并行运行，因此可以将环境配置 script 拆解为多个 script，通过并行 job script: echo "job1" - name: job2 script: echo "job2" 并行 apt 等系统包管理器安装相应软件如 cmake、ninja 等使用 curl 下载并运行指定 script，安装特定工具如 nvm、bun 等因此可以将这两部分拆解为两个及以上的 script，利用并行
27710编辑于 2025-11-30 - 来自专栏GreatSQL出品技术文章
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 ---- MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制： spm_id_from=333.999.0.0&vd_source=ae1951b64ea7b9e6ba11f1d0bbcff0e4 ---- 文章推荐： 实现一个简单的Database5(译文） 直播
88820编辑于 2023-02-22 - 来自专栏MySQL修行 | 老叶茶馆
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周，先赞一个 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 利用sysbench构建一个有400万行记录的测试表，只有一个主键索引时，表空间物理文件大小为1044381696 Bytes，添加完测试索引后，表空间物理文件大小涨到1434451968 Bytes， 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制：
98120编辑于 2022-12-02 - 来自专栏我是攻城师
如何使用Spark大规模并行构建索引
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法更简洁等一系列优点 @(Field@field)("dtime") dtime:String ) /*** * Spark构建索引 conf.setJars(seq) //初始化SparkContext上下文 val sc = new SparkContext(conf); //此目录下所有的数据，将会被构建索引 ,格式一定是约定好的 val rdd = sc.textFile("hdfs://192.168.1.187:9000/user/monitor/gs/"); //通过rdd构建索引 关闭索引资源 client.close(); //关闭SparkContext上下文 sc.stop(); } /*** * 处理rdd数据，构建索引
1.8K40发布于 2018-05-14 - 来自专栏技术杂记
Rails 构建评论功能（11）
虽然这只是一个小小的demo，但不得不说，ruby on rails 的开发效率是很高效的，原因是大部分本来需要手动完成的事情，这个框架已经帮忙自动完成了，我们需要做的只剩下去填补最基本的对象定义，逻辑关系，展示方式
66530发布于 2021-10-21 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（十）：并行、集群与分区
并行执行的情况下，一个作业项之后的多个作业项同时执行，由不同的线程启动每个并行执行的作业项。 然后在弹出的新建对话框中，填入子服务器的具体属性，如图10-11所示。 ? 图10-11 定义子服务器 其中用户名、密码都是cluster。 使用文本编辑器，将返回的字符串追加到密码文件中用户名的后面： Someuser: OBF:1ox61v8s1yf41v2p1pyr1lfe1vgt1vg11lc41pvv1v1p1yf21v9u1oyc Dynamic cluster：如果设置了这个选项，Kettle会在主服务器上自动搜寻子服务器列表，来构建集群。 2. 设计集群转换 设计一个集群转换，需要先设计一个普通的转换。 深入介绍了如何使用多台子服务器构建一个集群，如何构建转换来利用这些子服务器资源。 最后介绍了如何使用Kettle的数据库分区模式来并行处理数据库的读写操作。
2.5K52发布于 2020-12-08 - 来自专栏后端开发技术
掌握并行处理：理解并构建自己的线程池
（1）线程使用场景：某类任务特别耗时，会严重影响该线程处理其他任务，因此需要在其他线程异步执行该任务。
33610编辑于 2024-09-23 - 来自专栏代码编写世界
CMake构建学习笔记11-minizip库的构建
不过，有点麻烦的是这个工具并没有提供CMake构建的方式。那么可以按照构建giflib的方式，自己组织CMakeList.txt，正好这个项目的代码量并不多。 另一个问题是，minizip其实是个可执行程序，Windows下不能直接将其构建成动态链接库，因为Windows下的动态链接库是需要设置导出的，否则就会提示找不到符号的问题。 lib # 对于共享库 ARCHIVE DESTINATION lib # 对于静态库 RUNTIME DESTINATION bin # 对于可执行文件 ) 关键的构建指令如下所示 ，指定构建类型 cmake --build . --config RelWithDebInfo # 安装阶段，指定构建类型和安装目标 cmake --build .
70900编辑于 2024-12-14 - 来自专栏腾讯云数据库(TencentDB)
如何在庞大代码库上构建并行计算能力？
本文分析如何通过关键抽象来划分层次和管理复杂性，在庞大的 MySQL 代码库上构建并行计算能力，并通过基准测试数据来体现加速效果。 另外， MySQL 8.0 计算进行了大规模重构，执行层已经统一到经典的火山迭代器模型[11]，为并行查询的实现提供了良好基础。 TXSQL 并行查询在基本运算之上构建并行任务，支持算子内并行和算子间并行 [18]。 并行执行计划是在原始执行计划上构建的粗粒度表示，基于四个关键抽象：并行任务，数据交换，分区队列和任务依赖图。 内测版本支持了 q11 q15 q18 q22 涉及独立子查询并行，q17 q20 q21 涉及相关子查询并行，q2 涉及 in-memory hash join 并行，q5 q7 q8 q10 q21
94430编辑于 2023-03-30 - 来自专栏Y-StarryDreamer
『Jenkins』Jenkins中的并行构建与流水线优化
并行构建：指在同一流水线中同时运行多个构建任务。通过并行化的方式，可以显著减少构建的总时间。 流水线优化：指对流水线的各个环节进行优化，减少不必要的等待时间，提升流水线的整体效率。 Jenkins支持在流水线中配置并行构建任务。 并行构建的概念 并行构建指在一个流水线中，将多个任务分配到不同的执行节点上，同时进行构建、测试等操作，最终合并结果。 这对于多个独立模块的构建特别有效，能够减少等待时间。 在Jenkins中实现并行构建 1. 声明式流水线中的并行构建 在声明式流水线中，可以通过parallel语法来实现并行构建。 配置并行构建的节点 为了提高并行构建的效率，Jenkins支持将不同的构建任务分配给不同的执行节点。通过agent关键字，可以指定不同的节点进行并行任务的执行。 通过将这些步骤并行化，能够显著减少构建的总时间。例如，构建、测试和部署步骤可以根据依赖关系进行并行化。
1.3K10编辑于 2025-02-06 - 来自专栏DevOps持续集成
微服务模式下如何实现多模块并行构建发布
用户选择要发布的微服务，然后根据服务名称并行触发每个要发布服务的流水线进行构建和发布。 我们先来看看如何使用pipeline中的parallel语法，这里列举了两个例子：并行任务、并行阶段。 def tasks = [:] //定义要并行的任务名称和任务 tasks["build01"] = {sh "ls"} tasks["build02"] = {sh "ls"} //并行 parallel tasks 并行阶段 并行stage也是一种经常用到的运行方式，我们可以使用这种方式解决不必要的时间浪费，尤其在各个平台运行自动化测试的时候，我们不必等到windows平台验证完成再进行Linux系统中的验证 parallel parallelMap //判断状态 for ( i in buildStatus.keySet()){ currentBuild.description = "构建信息 在各个模块之间没有发布顺序的时候，我们可以使用Pipeline的Parallel语法进行项目的并行构建。加快发布速度，减少重复手工操作成本。
1.3K20发布于 2020-04-22 - 来自专栏素质云笔记
提升R代码运算效率的11个实用方法——并行、效率
本文将介绍几种适用于大数据领域的方法，包括简单的逻辑调整设计、并行处理和Rcpp的运用，利用这些方法你可以轻松地处理1亿行以上的数据集。 9.利用并行运算 并行运算的代码： ? 10.尽早地移除变量并恢复内存容量 在进行冗长的循环计算前，尽早地将不需要的变量移除掉。 11.利用内存较小的数据结构 data.table()是一个很好的例子，因为它可以减少数据的内存，这有助于加快运算速率。 ?
1.4K50发布于 2019-05-26 - 来自专栏鸿的学习笔记
聊聊并行并行编程
并行编程主要聚焦于性能，生产率和通用性上。 所谓性能，更像是可扩展性以及效率。不再聚焦于单个CPU的性能，而是在于平均下来CPU的性能。 并行和并发有着小小的区别：并行意味着问题的每个分区有着完全独立的处理，而不会与其他分区进行通信。并发可能是指所有的一切事务， 这可能需要紧密的，以锁的形式或其他的互相通信的方式形成的相互依赖。 因为并行编程的相对较难，导致工程师的生产率不会太高，会聚焦于更精密的细节，花费大量的时间。 并行任务变得复杂不仅仅在于之上的原因，更因为： 1.对代码，对任务的分割，这会导致错误处理以及事件处理更为复杂。如果并行程序之间会牵扯到交互，通信的时间成本，共享资源的分配和更新更为复杂。 2.并行访问控制，单线程的应用程序可以对本实例中的所有资源具有访问权，例如内存中的数据结构，文件之类的。
1.4K10发布于 2018-08-06 - 来自专栏js
使用elementUI构建复杂表格，合并行或列，多级表头等
项目场景： 前端开发过程中常常会遇到各种开发表格的场景，有时候有的表格比较简单有的比较复杂（如下图简单示例所示，有合并项和多级表头），Elementui的el-table控件也可以支持构建复杂的表格 { name:'李四', }, { name:'王五', }, { name:'孙七', }])</script>2、合并行或列通过给 table传入span-method方法可以实现合并行或列，方法的参数是一个对象，里面包含当前行row、当前列column、当前行号rowIndex、当前列号columnIndex四个属性。
7.2K10编辑于 2024-06-24 - 来自专栏yaphetsfang
数据并行和任务并行
OpenCL并行加减乘除示例——数据并行与任务并行 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhouxuanyuye/article/details/79949409 OpenCL并行加减乘除示例——数据并行与任务并行 关键词：OpenCL; data parallel; task parallel 数据并行化计算与任务并行化分解可以加快程序的运行速度。 这种办法对不同的数据使用相同的核函数，称为数据并行。 ? 图3. (task parallel) 另外还有一种就是任务并行化，可以使所有功能函数内部的语句并行执行，即任务并行化，如本文中的功能函数可以分解为“加减乘除”这四个任务，可以产生“加减乘除”四个核函数，让四个函数同时执行
2.3K30发布于 2020-07-30 - 来自专栏码农阿宇
.Net Core中利用TPL（任务并行库）构建Pipeline处理Dataflow
TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 { MaxDegreeOfParallelism = _maxDegreeOfParallelism } 5.构建 ISourceBlock<TOutput>.LinkTo(ITargetBlock<TOutput> target, DataflowLinkOptions linkOption) 方法，可以把Block连接起来，即构建 _startBlock.Post(input); } _startBlock.Complete(); } Pipeline构建好后
84210发布于 2018-10-11 - 来自专栏前端达人
第11课：Multi-Agent 实战，并行编排的5种模式
难度：★★★★☆ 适合人群：已了解 Agent 体系（第10课），准备学习多 Agent 组合使用的开发者 学完之后：面对任何复杂任务，你能设计出最优的 Agent 编排方案——该串行的串行，该并行的并行 这节课教你的就是这个：怎么编排多个 Agent 并行工作，把任务完成时间从"所有子任务耗时之和"压缩到"最慢那个子任务的耗时"。 → 全部完成 任务C(30s) │ 任务D(30s) ┘ 总耗时：30秒 并行的时间 = 最慢那个任务的时间，不是所有任务的加总。 这就是为什么并行能快4倍。 并行的前提条件（快速复习） 第06课讲过并行的判断标准。 配置和环境：找到所有配置文件、环境变量、第三方服务集成 (thoroughness: quick) 5个任务互不依赖，并行执行。完成后给我一份综合概览。
11410编辑于 2026-04-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号