- 综合排序
- 最热优先
- 最新优先
- 来自专栏ops技术分享
jenkins并行构建
通过仔细分析你会发现，这些测试是可以并行执行的。就像原来只有一个测试人员，要测试4个浏览器，他只能测试完一个浏览器，再测试另一个浏览器，但是现在有4个测试人员，他们就可以同时进行测试。 很明显，Jenkins pipeline插件支持这种并行构建，并且使用起来也非常简单。 位于parallel块下的阶段都并行执行，而且并行阶段还可以被分到不同的Jenkins agent上执行。 如果希望所有并行阶段中的某个阶段失败后，就让其他正在执行的阶段都中止，那么只需要在与parallel块同级的位置加入failFast true就可以了。
2K10发布于 2021-06-01 - 来自专栏每月技术成长
CNB 环境构建加速 -- 并行 job
上文CNB 环境构建实践总结提到通过编写 script 而非直接修改 .cnb.yml 或构建镜像的方式，进行环境配置。 利用 CNB 的并行 job 特性，可以在开发环境配置时间从 2 min 降低至46 s，实现高达 66%的开发环境配置时间优化的同时，确保 log 保持相应结构便于debug，从而提升云原生开发使用体验 串行/并行 jobCNB pipeline 中，stages 是串行执行的，但每个 stage 中的 job 可以串行/并行运行，因此可以将环境配置 script 拆解为多个 script，通过并行 job script: echo "job1" - name: job2 script: echo "job2" 并行 apt 等系统包管理器安装相应软件如 cmake、ninja 等使用 curl 下载并运行指定 script，安装特定工具如 nvm、bun 等因此可以将这两部分拆解为两个及以上的 script，利用并行
21710编辑于 2025-11-30 - 来自专栏GreatSQL出品技术文章
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 ---- MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制： 最佳实践参考 | 深入浅出MGR ---- 关于 GreatSQL GreatSQL是由万里数据库维护的MySQL分支，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，是适用于金融级应用的
88120编辑于 2023-02-22 - 来自专栏MySQL修行 | 老叶茶馆
MySQL 8.0.31并行构建索引特性管窥
测试效率提升36% ~ 100%，相当可观 本文目录 并行构建索引测试 进一步提高索引构建效率 并行构建索引的限制 MySQL 8.0.31于2022.10.11发布了，比我预计的日期早了一周，先赞一个 简言之，就是支持并行构建索引，提升索引构建性能。 并行构建索引测试 还是直接做个测试看看吧。 利用sysbench构建一个有400万行记录的测试表，只有一个主键索引时，表空间物理文件大小为1044381696 Bytes，添加完测试索引后，表空间物理文件大小涨到1434451968 Bytes， 的作用），用于提升辅助索引构建的效率。 /$db/mysql.sock -e "select @@global.innodb_ddl_threads" test done 并行构建索引的限制 最后，再来看下并行构建索引新特性都有哪些限制：
97420编辑于 2022-12-02 - 来自专栏我是攻城师
如何使用Spark大规模并行构建索引
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法更简洁等一系列优点 @(Field@field)("dtime") dtime:String ) /*** * Spark构建索引 conf.setJars(seq) //初始化SparkContext上下文 val sc = new SparkContext(conf); //此目录下所有的数据，将会被构建索引 ,格式一定是约定好的 val rdd = sc.textFile("hdfs://192.168.1.187:9000/user/monitor/gs/"); //通过rdd构建索引 关闭索引资源 client.close(); //关闭SparkContext上下文 sc.stop(); } /*** * 处理rdd数据，构建索引
1.8K40发布于 2018-05-14 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（十）：并行、集群与分区
垂直扩展是尽可能使用单台服务器上的多个CPU核，水平扩展是尽可能使用多台计算机，使它们并行计算。第一部分先介绍转换内部的并行机制和多种垂直扩展方法。然后说明怎样在子服务器集群环境下进行水平扩展。 最后描述如何利用Kettle数据库分区进一步提高并行计算的性能。 并行执行的情况下，一个作业项之后的多个作业项同时执行，由不同的线程启动每个并行执行的作业项。 Dynamic cluster：如果设置了这个选项，Kettle会在主服务器上自动搜寻子服务器列表，来构建集群。 2. 设计集群转换 设计一个集群转换，需要先设计一个普通的转换。 深入介绍了如何使用多台子服务器构建一个集群，如何构建转换来利用这些子服务器资源。 最后介绍了如何使用Kettle的数据库分区模式来并行处理数据库的读写操作。
2.5K52发布于 2020-12-08 - 来自专栏后端开发技术
掌握并行处理：理解并构建自己的线程池
（1）线程使用场景：某类任务特别耗时，会严重影响该线程处理其他任务，因此需要在其他线程异步执行该任务。
32410编辑于 2024-09-23 - 来自专栏腾讯云数据库(TencentDB)
如何在庞大代码库上构建并行计算能力？
本文分析如何通过关键抽象来划分层次和管理复杂性，在庞大的 MySQL 代码库上构建并行计算能力，并通过基准测试数据来体现加速效果。 具体地讲， TXSQL 内核在 8.0 上构建了并行查询基础框架，结合 MySQL 代码特点，采用计划复现方案，解决并行任务（执行计划片段）的分发难题，常规计算逻辑可以快速适配到并行计算。 TXSQL 并行查询在基本运算之上构建并行任务，支持算子内并行和算子间并行 [18]。 并行执行计划是在原始执行计划上构建的粗粒度表示，基于四个关键抽象：并行任务，数据交换，分区队列和任务依赖图。 七、项目迭代与质量保证 TXSQL 并行查询遵循迭代开发过程，先构建基础框架，然后逐步支持更多计算结构，同时进行性能优化。
93230编辑于 2023-03-30 - 来自专栏Y-StarryDreamer
『Jenkins』Jenkins中的并行构建与流水线优化
并行构建：指在同一流水线中同时运行多个构建任务。通过并行化的方式，可以显著减少构建的总时间。 流水线优化：指对流水线的各个环节进行优化，减少不必要的等待时间，提升流水线的整体效率。 Jenkins支持在流水线中配置并行构建任务。 并行构建的概念 并行构建指在一个流水线中，将多个任务分配到不同的执行节点上，同时进行构建、测试等操作，最终合并结果。 这对于多个独立模块的构建特别有效，能够减少等待时间。 在Jenkins中实现并行构建 1. 声明式流水线中的并行构建 在声明式流水线中，可以通过parallel语法来实现并行构建。 配置并行构建的节点 为了提高并行构建的效率，Jenkins支持将不同的构建任务分配给不同的执行节点。通过agent关键字，可以指定不同的节点进行并行任务的执行。 通过将这些步骤并行化，能够显著减少构建的总时间。例如，构建、测试和部署步骤可以根据依赖关系进行并行化。
1.2K10编辑于 2025-02-06 - 来自专栏DevOps持续集成
微服务模式下如何实现多模块并行构建发布
用户选择要发布的微服务，然后根据服务名称并行触发每个要发布服务的流水线进行构建和发布。 我们先来看看如何使用pipeline中的parallel语法，这里列举了两个例子：并行任务、并行阶段。 def tasks = [:] //定义要并行的任务名称和任务 tasks["build01"] = {sh "ls"} tasks["build02"] = {sh "ls"} //并行 parallel tasks 并行阶段 并行stage也是一种经常用到的运行方式，我们可以使用这种方式解决不必要的时间浪费，尤其在各个平台运行自动化测试的时候，我们不必等到windows平台验证完成再进行Linux系统中的验证 parallel parallelMap //判断状态 for ( i in buildStatus.keySet()){ currentBuild.description = "构建信息 在各个模块之间没有发布顺序的时候，我们可以使用Pipeline的Parallel语法进行项目的并行构建。加快发布速度，减少重复手工操作成本。
1.3K20发布于 2020-04-22 - 来自专栏鸿的学习笔记
聊聊并行并行编程
并行编程主要聚焦于性能，生产率和通用性上。 所谓性能，更像是可扩展性以及效率。不再聚焦于单个CPU的性能，而是在于平均下来CPU的性能。 并行和并发有着小小的区别：并行意味着问题的每个分区有着完全独立的处理，而不会与其他分区进行通信。并发可能是指所有的一切事务， 这可能需要紧密的，以锁的形式或其他的互相通信的方式形成的相互依赖。 因为并行编程的相对较难，导致工程师的生产率不会太高，会聚焦于更精密的细节，花费大量的时间。 并行任务变得复杂不仅仅在于之上的原因，更因为： 1.对代码，对任务的分割，这会导致错误处理以及事件处理更为复杂。如果并行程序之间会牵扯到交互，通信的时间成本，共享资源的分配和更新更为复杂。 2.并行访问控制，单线程的应用程序可以对本实例中的所有资源具有访问权，例如内存中的数据结构，文件之类的。
1.4K10发布于 2018-08-06 - 来自专栏js
使用elementUI构建复杂表格，合并行或列，多级表头等
项目场景： 前端开发过程中常常会遇到各种开发表格的场景，有时候有的表格比较简单有的比较复杂（如下图简单示例所示，有合并项和多级表头），Elementui的el-table控件也可以支持构建复杂的表格 { name:'李四', }, { name:'王五', }, { name:'孙七', }])</script>2、合并行或列通过给 table传入span-method方法可以实现合并行或列，方法的参数是一个对象，里面包含当前行row、当前列column、当前行号rowIndex、当前列号columnIndex四个属性。
7K10编辑于 2024-06-24 - 来自专栏yaphetsfang
数据并行和任务并行
OpenCL并行加减乘除示例——数据并行与任务并行 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhouxuanyuye/article/details/79949409 OpenCL并行加减乘除示例——数据并行与任务并行 关键词：OpenCL; data parallel; task parallel 数据并行化计算与任务并行化分解可以加快程序的运行速度。 这种办法对不同的数据使用相同的核函数，称为数据并行。 ? 图3. (task parallel) 另外还有一种就是任务并行化，可以使所有功能函数内部的语句并行执行，即任务并行化，如本文中的功能函数可以分解为“加减乘除”这四个任务，可以产生“加减乘除”四个核函数，让四个函数同时执行
2.3K30发布于 2020-07-30 - 来自专栏码农阿宇
.Net Core中利用TPL（任务并行库）构建Pipeline处理Dataflow
TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 { MaxDegreeOfParallelism = _maxDegreeOfParallelism } 5.构建 ISourceBlock<TOutput>.LinkTo(ITargetBlock<TOutput> target, DataflowLinkOptions linkOption) 方法，可以把Block连接起来，即构建 _startBlock.Post(input); } _startBlock.Complete(); } Pipeline构建好后
84010发布于 2018-10-11 - 来自专栏码农阿宇
.Net Core中利用TPL（任务并行库）构建Pipeline处理Dataflow
TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 TPL的目的是通过简化向应用程序添加并行性和并发性的过程来提高开发人员的工作效率,TPL动态地扩展并发度，以最有效地使用所有可用的处理器。 { MaxDegreeOfParallelism = _maxDegreeOfParallelism } 5.构建 ISourceBlock<TOutput>.LinkTo(ITargetBlock<TOutput> target, DataflowLinkOptions linkOption) 方法，可以把Block连接起来，即构建 _startBlock.Post(input); } _startBlock.Complete(); } Pipeline构建好后
1.9K10发布于 2018-10-08 - 来自专栏计算机技术-参与活动
算力共享：数据并行，模型并行，流水线并行，混合并行策略
# 算力共享：混合并行策略混合并行策略是在深度学习模型训练过程中，综合运用多种并行技术来加速训练过程的方法。以下是常见的并行技术以及混合并行策略的举例： 一、常见并行技术1. **DeepSpeed和Alpa框架的混合并行** - **策略**：在单机多卡场景下，优先采用张量并行（一种模型并行方式），将模型的计算密集型部分（如大规模矩阵运算）在多个GPU上并行执行，充分利用单机的计算资源 **Megatron - LM的混合并行** - **策略**：结合了**数据并行和模型并行**。 通过数据并行来利用多个GPU处理不同的数据子集，同时采用模型并行（如张量并行和流水线并行）来处理模型过大无法在单个GPU上运行的问题。 - 在模型并行方面，对于Transformer架构中的矩阵乘法等操作，采用张量并行进行切分计算。
1.3K10编辑于 2025-01-01 - 来自专栏yaphetsfang
C#数据并行和任务并行
C# 并行任务——Parallel类 一、Parallel类 Parallel类提供了数据和任务的并行性； 二、Paraller.For() Paraller.For()方法类似于 使用Paraller.For()方法，可以并行运行迭代，迭代的顺序没有定义。 在For()方法中，前两个参数是固定的，这两个参数定义了循环的开头和结束。 四、Parallel.Invoke() Parallel.Invoke()方法，它提供了任务并行性模式。 Parallel.ForEach()用于数据并行性，Parallel.Invoke()用于任务并行性；
1.9K20发布于 2020-07-30 - 来自专栏计算机工具
模型并行、数据并行、流水线并行以及混合并行的适用场景、优劣
模型并行、数据并行、流水线并行以及混合并行的适用场景、优劣- **数据并行** - **适用场景**：**适用于模型规模相对较小，能够在单个计算设备（如 GPU）上完整运行**，但训练数据量巨大的情况 通过将模型划分为多个阶段，不同阶段在不同的计算设备上并行执行，类似于工厂的流水线作业，数据依次经过各个阶段进行处理，能够实现较高的**并行效率**。 例如在训练大型多模态模型（结合文本、图像、音频等多种数据）或超大规模的语言模型时，混合并行可以充分发挥不同并行策略的优势。 - **优点**：结合了**数据并行、模型并行和流水线并行的优点，能够根据模型结构、数据特点和硬件资源的实际情况**，灵活地调整并行策略，实现最优的训练效率。 *张量并行**）将其切分到多个 GPU 上计算；同时，对于模型的整体结构，可以采用**流水线并行将模型按层划分为多个阶段在不同 GPU 上执行**，通过这种混合并行的方式全面提升训练速度和效率。
99521编辑于 2025-01-05 用 Git Worktrees + Claude Code 构建高效并行开发流
而 Git Worktrees —— 这个被低估的 Git 隐藏功能，配合 AI 编程助手 Claude Code，能让你轻松实现真正的并行开发流：多个独立工作区，共享同一仓库历史，零拷贝、秒级创建、互不干扰 三、最佳实践：构建你的“并行开发工作流”1. 命名规范git worktree add .. 与 CI/CD 协同某些 CI 系统（如 GitHub Actions）支持 worktree，可用于并行测试多个分支。4. 结语：从“串行忍耐”到“并行创造”Git Worktrees 解放了你的工作空间，Claude Code 解放了你的编码心智。 /myproj-claude-test main然后把问题扔给 Claude——你的并行开发之旅，从此开始。
2.1K10编辑于 2026-01-26- 来自专栏海风
TPU中的指令并行和数据并行
高性能的多来自于并行，因此本文分别讨论了指令并行和数据并行的设计方法。 为了获得更高的性能，可以采用一系列的常规方法进行设计，包括 指令并行，即一次性处理更多指令，让所有执行单元高效运行 数据并行，即一次性处理多组数据，提高性能 后文会针对这两点做进一步描述，并简单讨论 根据指令流和数据流之间的对应关系，可以将处理器分为以下几个类别 SISD，单指令流单数据流，顺序执行指令，处理数据，可以应用指令并行方法 SIMD，单指令流多数据流，同一指令启动多组数据运算，可以用于开发数据级并行 MISD，多指令流单数据流，暂无商业实现 MIMD，多指令流多数据流，每个处理器用各种的指令对各自的数据进行操作，可以用在任务级并行上，也可用于数据级并行，比SIMD更灵活 由于TPU应用在规则的矩阵 /卷积计算中，在单个处理器内部的设计上，SIMD是数据并行的最优选择。
2.6K20发布于 2019-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号