- 综合排序
- 最热优先
- 最新优先
- 来自专栏Android&Java技术
RxJava2.x 的并行编程
题图：来自飞哥的图片工厂 音乐推荐：你的姑娘 文丨IT大飞说 预计阅读时间：1.2 分钟 哈喽，朋友们，之前我们学习了一些 RxJava2.x 的常用操作符，今天我们来继续学习一下RxJava 的并行编程。 2.使用 RxJava 的 flatMap 实现并行编程 我们前面学习过 flatMap 操作符，我们知道 flatMap 可以将一些数据转换成一些 Observables，然后我们可以指定它的调度器来实现并行编程的目的 -> executorService.shutdown()) .subscribe(s -> LogUtil.i(TAG, "s===" + s)); } 这 2 3.使用 ParallelFlowable 实现并行编程 Flowable 是 RxJava2.x 新增的被观察者，支持背压，因此它对应的并行被观察者为 ParallelFlowable，因为并行编程肯定涉及到异步
1.2K20发布于 2020-02-27 - 来自专栏鸿的学习笔记
聊聊并行并行编程
这个来源于摩尔定律的失效， 霍金曾经提过限制IT发展的终究会是1.光速（这个已经在分布式系统上更能看出来，通信的瓶颈限制着速度）2.物质的原子性（来源于不可测准原理） 并行编程开始了，即使很难。 并行和并发有着小小的区别：并行意味着问题的每个分区有着完全独立的处理，而不会与其他分区进行通信。并发可能是指所有的一切事务， 这可能需要紧密的，以锁的形式或其他的互相通信的方式形成的相互依赖。 因为并行编程的相对较难，导致工程师的生产率不会太高，会聚焦于更精密的细节，花费大量的时间。 并行任务变得复杂不仅仅在于之上的原因，更因为： 1.对代码，对任务的分割，这会导致错误处理以及事件处理更为复杂。如果并行程序之间会牵扯到交互，通信的时间成本，共享资源的分配和更新更为复杂。 2.并行访问控制，单线程的应用程序可以对本实例中的所有资源具有访问权，例如内存中的数据结构，文件之类的。
1.4K10发布于 2018-08-06 - 来自专栏小菜与老鸟
Xcode编译疾如风系列-2.并行编译
Xcode编译疾如风-2.并行编译 ? Xcode 编译是一个需要 CPU 运算以及大量 IO 操作的过程。我们将编译任务分配给多个 CPU 来提高单位时间内的编译速度。 对于 IO 密集型任务，线程池设置为 2N，IO 密集型任务 CPU 使用率并不高，因此可以让 CPU 在等待 IO 的时候去处理别的任务，这样能够充分利用 CPU 时间。 阿姆达尔定律 思考下，并行编译是银弹吗？非也。 阿姆达尔定律是一个估算通过多核并行能够获得多少性能提升的经验法则。内容是： 通过并行计算所获得的系统性能提升效果，会随着无法并行的部分而产生饱和。 ? 更多阅读 WWDC2018 Session415[1] https://gist.github.com/nlutsenko/ee245fbd239087d22137[2] 参考资料 [1] WWDC2018 Session415: https://developer.apple.com/videos/play/wwdc2018/415/ [2] https://gist.github.com/nlutsenko
3.6K41发布于 2021-04-23 - 来自专栏罗西的思考
并行分布式框架 Celery 之架构 (2)
[源码解析] 并行分布式框架 Celery 之架构 (2) 0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 上文 [源码解析] 并行分布式框架 Celery 之架构 (1) 中，我们大致介绍了 Celery 的概念，用途和架构，现在回忆 Celery 的架构图如下： +-----------+ 对于 Consumer 来说， 1 是基本功能，这些功能组成了一个简单的非强壮的消息队列框架； 2 一般重要，可以实现一个高级一点的功能； 3 属于附加功能，同时也属于一点分布式的功能。 这就涉及到两个最重要的问题： 如何拆分计算逻辑； 如何分发计算逻辑； 于是 Spark 把所有的计算逻辑划分为这两种类型： 能够分发到各个节点上并行执行的； 需要经过一定量的结果合并之后才能继续执行的； 有些人可能会担心，分块处理会导致并行性能下降，实际上，由于避免了消息传递的开销，因此反而会大大的提高性能。
1.2K10发布于 2021-04-01 - 来自专栏IT当时语_青山师_JAVA技术栈
并行的2个重要定律Amdahl、Gustafson定律
死锁： 比如在双车道高速公路上并行的两辆车A、B，A想拐到B车道，B想转到A车道。现在则会发现互相等待对方开走，但是对方一直往这边转过来，一直僵持。。。这在程序中的多个线程互相等待就是死锁。 有关并行地两大定律 阿姆达尔定律 阿姆达尔定律是计算机并行重要的定律。定义了串行系统并行化后的加速比的计算公式和理论上限。 如果串行比例占2/3，则无论处理器再多，最大加速比也只能达到1.5。 理想效果是，全部并行，最大加速比为 n。可以根据增加处理器无上限增强程序效率。 古斯塔夫森定律 古斯塔夫森定律也是在表明处理器个数、并行比例和加速比之间的关系。 两个定律最低点、最高点都是一致的结论： 无可并行的程序，加速比就是1. 全部是并行程序，加速比就是n。
91610编辑于 2023-05-04 - 来自专栏yaphetsfang
数据并行和任务并行
OpenCL并行加减乘除示例——数据并行与任务并行 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhouxuanyuye/article/details/79949409 OpenCL并行加减乘除示例——数据并行与任务并行 关键词：OpenCL; data parallel; task parallel 数据并行化计算与任务并行化分解可以加快程序的运行速度。 图2. = A[base+2] * B[base+2]; C[base+3] = A[base+3] / B[base+3]; } 2、任务并行(task parallel
2.3K30发布于 2020-07-30 - 来自专栏计算机技术-参与活动
算力共享：数据并行，模型并行，流水线并行，混合并行策略
# 算力共享：混合并行策略混合并行策略是在深度学习模型训练过程中，综合运用多种并行技术来加速训练过程的方法。以下是常见的并行技术以及混合并行策略的举例： 一、常见并行技术1. 2. **DeepSpeed和Alpa框架的混合并行** - **策略**：在单机多卡场景下，优先采用张量并行（一种模型并行方式），将模型的计算密集型部分（如大规模矩阵运算）在多个GPU上并行执行，充分利用单机的计算资源 2. **Megatron - LM的混合并行** - **策略**：结合了**数据并行和模型并行**。 通过数据并行来利用多个GPU处理不同的数据子集，同时采用模型并行（如张量并行和流水线并行）来处理模型过大无法在单个GPU上运行的问题。
1.4K10编辑于 2025-01-01 - 来自专栏罗西的思考
深度学习流水线并行 PipeDream(2)--- 计算分区
[源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 目录 [源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 0x00 摘要 0x01 前言 1.1 Profile 计算结果具体如下图所示： 流水线并行其他文章链接如下: [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 流水线可以是straight（数目为1）或者并行（数目为num_machines），依据目前的信息，以及机器数量，网络带宽等，使用动态规划算法计算分区。 在下图中，m2=2，m1=4。此外，我们定义m0为1。即 4 个 m0 构成一个 m1, 2个 m1 构成一个 m2。 第三项是最后单个阶段的时间（由 m' 个数据并行的机器组成）。
84230发布于 2021-09-08 - 来自专栏R语言数据分析指南
生信小课堂(2) 并行运算那些事
parallel是一个命令行工具，用于并行执行作业。它可以在单台机器上的多个核心或多台机器上并行执行命令。 ❞ 基本特性 1.并行执行：parallel可以并行执行命令，从而充分利用多核心CPU。 2.输出控制：parallel可以确保输出不会混合，即使在并行执行时也是如此。 3.灵活性：parallel可以与许多其他Unix命令结合使用，如find、grep和awk。 B 2 文本检索 假设有三个文本文件：file1.txt, file2.txt, 和 file3.txt，你想并行地对每个文件执行 grep 命令来搜索某个词汇，可以这样做： parallel grep -j 6 -P 5 'gzip -d {}' ::: *.fastq.gz 并行质控 parallel -j 10 --max-args=2 fastp \ --thread 8 \ --in1 "{1}" \ --in2 "{2}" \ --out1 ".
53430编辑于 2023-10-08 - 来自专栏罗西的思考
PyTorch 流水线并行实现 (2)--如何划分模型
0x00 摘要 上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和模型分割。 流水线并行其他文章链接如下: [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 [源码解析] 深度学习流水线并行 GPipe(3) ----重计算 [源码解析] 深度学习流水线并行之PipeDream(1)--- Profile阶段 [源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区 [源码解析 ] 深度学习流水线并行 PipeDream(3)--- 转换模型 [源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎 [源码解析] 深度学习流水线并行 PipeDream(5) --- 通信模块 [源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略 [源码解析] PyTorch 流水线并行实现 (1)--基础知识 本文图来自论文和github源码。
1.9K40发布于 2021-09-27 - 来自专栏罗西的思考
深度学习流水线并行GPipe (2) ----- 梯度累积
[源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 目录 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 0x00 摘要 0x01 概述 1.1 前文回顾 本系列其他文章如下： [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 0x01 概述 1.1 前文回顾 前文提到，目前分布式模型训练有几个必要并行技术： 流水并行，尤其是如何自动设定流水 micro-batch 跟数据并行有高度的相似性： 数据并行是空间上的，数据被拆分成多个 tensor，同时喂给多个设备并行计算，然后将梯度累加在一起更新。 当总的 batch size 一致，且数据并行的并行度和 micro-batch 的累加次数相等时，数据并行和 Gradient Accumulation 在数学上完全等价。 在流水线并行下， Gradient Accumulation 使得不同 stage 之间可以并行执行不同的 micro-batch，通过多个 micro-batch的梯度累加使得下一个 micro-batch
2K30发布于 2021-08-30 - 来自专栏罗西的思考
并行分布式框架 Celery 之 worker 启动 (2)
[源码解析] 并行分布式框架 Celery 之 worker 启动 (2) 目录 [源码解析] 并行分布式框架 Celery 之 worker 启动 (2) 0x00 摘要 0x01 前文回顾 0x2 Kombu 之 Consumer [源码分析] 消息队列 Kombu 之 Producer [源码分析] 消息队列 Kombu 之 启动过程 [源码解析] 消息队列 Kombu 之 基本架构 以及 源码解析 并行分布式框架 Celery 之架构 (2) [源码解析] 并行分布式框架 Celery 之架构 (2) [源码解析] 并行分布式框架 Celery 之 worker 启动 (1) 0x01 前文回顾 前文提到了，我们经过一系列过程 结构为{step1:[step2,step3]}。 def __repr__(self): return bytes_if_py2('step:{0.name}{{{0.requires!
1.6K20发布于 2021-04-07 - 来自专栏罗西的思考
模型并行分布式训练Megatron (2) --- 整体架构
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 目录 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x00 摘要 0x01 启动 1.1 分布式启动 ，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。 注意，数据并行是把不同数据加载到不同的rank之上，而 Tensor模型并行组之中每个rank都加载同样数据。 调用 mpu.initialize_model_parallel 来设置模型并行，数据并行等各种进程组，我们下文会重点讨论。 假如数据并行度数为2，则例子为[g0, g2], [g1, g3], [g4, g6], [g5, g7], [g8, g10], [g9, g11], [g12, g14], [g13, g15]。
3.5K20编辑于 2022-05-09 - 来自专栏sktj
多线程和多进程的区别(并行编程 2)
优点：共享内存，尤其是进行IO操作（网络、磁盘）的时候（IO操作很少用cpu），可以使用多线程执行并发操作。
73720编辑于 2022-01-10 - 来自专栏yaphetsfang
C#数据并行和任务并行
C# 并行任务——Parallel类 一、Parallel类 Parallel类提供了数据和任务的并行性； 二、Paraller.For() Paraller.For()方法类似于 使用Paraller.For()方法，可以并行运行迭代，迭代的顺序没有定义。 在For()方法中，前两个参数是固定的，这两个参数定义了循环的开头和结束。 = Parallel.For(0, 10, i => { Console.WriteLine("迭代次数：{0},任务ID:{1},线程ID:{2} 四、Parallel.Invoke() Parallel.Invoke()方法，它提供了任务并行性模式。 Parallel.ForEach()用于数据并行性，Parallel.Invoke()用于任务并行性；
1.9K20发布于 2020-07-30 - 来自专栏计算机工具
模型并行、数据并行、流水线并行以及混合并行的适用场景、优劣
模型并行、数据并行、流水线并行以及混合并行的适用场景、优劣- **数据并行** - **适用场景**：**适用于模型规模相对较小，能够在单个计算设备（如 GPU）上完整运行**，但训练数据量巨大的情况 通过将模型划分为多个阶段，不同阶段在不同的计算设备上并行执行，类似于工厂的流水线作业，数据依次经过各个阶段进行处理，能够实现较高的**并行效率**。 例如在训练大型多模态模型（结合文本、图像、音频等多种数据）或超大规模的语言模型时，混合并行可以充分发挥不同并行策略的优势。 - **优点**：结合了**数据并行、模型并行和流水线并行的优点，能够根据模型结构、数据特点和硬件资源的实际情况**，灵活地调整并行策略，实现最优的训练效率。 *张量并行**）将其切分到多个 GPU 上计算；同时，对于模型的整体结构，可以采用**流水线并行将模型按层划分为多个阶段在不同 GPU 上执行**，通过这种混合并行的方式全面提升训练速度和效率。
1K21编辑于 2025-01-05 - 来自专栏罗西的思考
PyTorch分布式优化器(2)----数据并行优化器
[源码解析] PyTorch分布式优化器(2)----数据并行优化器 目录 [源码解析] PyTorch分布式优化器(2)----数据并行优化器 0x00 摘要 0x01 前文回顾 0x02 DP 之中的优化器 本文介绍数据并行DP/DDP/Horovod 之中的优化器。 0x02 DP 之中的优化器 2.1 流程 DP 之中，我们需要注意的是，PyTorch 使用了多线程并行，所以应用之中只有一个优化器，这个优化器也是普通类型的优化器，其流程如下： 每个 GPU 在单独的线程上将针对各自的输入数据独立并行地进行 on GPU2 +--+ +-->+ Thread 3 on GPU2 +-+ | | +-------------------+ 下面部分就是DDP/Horovod优化过程，可以看到，其后向计算和归并梯度是部分并行的。
1.3K30编辑于 2021-12-09 - 来自专栏小雨的CSDN
2. 操作系统中的程序进程、并发并行
然后从链表上删掉，并且释放该资源 通过任务管理器查看到的所有的进程信息，本质上 就是在遍历内核中的这个链表，依次读取对应PCB的节点信息 PCB里面包含的信息有： 1.pid（进程id）进程的身份标识 2. 太长时间导致的其他程序无法执行 6.上下文：保存量上次进程在CPU上执行的进度，以便下次进程上CPU的时候能继续执行 以上的3~6点都是为了实现 进程调度 一般情况都会出现 进程数量多，CPU数量少 并发和并行 我们电脑中同一时间会运行多个进程，这是通过快速频繁的切换CPU来达到每个线程一起工作， 这样从宏观上看多个线程是同时进行的----------> 并发 从微观上看和从宏观上啃都是同时进行的-------> 并行 但在具体应用中，并发和并行的区分不大 状态 进程中的状态还是比较重要的，这里详细介绍一下 一个进程的状态有一下几种： R: 就绪状态。
45510编辑于 2022-10-26 - 来自专栏海风
TPU中的指令并行和数据并行
高性能的多来自于并行，因此本文分别讨论了指令并行和数据并行的设计方法。 为了获得更高的性能，可以采用一系列的常规方法进行设计，包括 指令并行，即一次性处理更多指令，让所有执行单元高效运行 数据并行，即一次性处理多组数据，提高性能 后文会针对这两点做进一步描述，并简单讨论 2. 指令并行 2.1 Simple TPU中的流水线 为了提高吞吐率和时钟频率，处理器通常使用流水线设计，经典的五级流水线设计一般如下所示 clk0 clk1 clk2 clk3 clk4 clk5 中一条指令可以完成大量数据的计算，提高了数据并行度。
2.6K20发布于 2019-07-31 - 来自专栏漫漫全栈路
C#并行与多线程——Parallel并行
并行Parallel 在Parallel下面有三个常用的方法invoke,For和ForEach。 先说下StopWatch，这个类主要用于测速，记录时间。 } 写两个方法，一个让线程睡眠2s（2000ms），另一个让线程睡眠3s。 很直观的看出，使用Parallel.Invoke()之后，Run1和Run2是并行执行的，一共用时3s（3000ms左右），而直接运行Run1和Run2则耗时5s。 Parallel.For实际上是并行执行了循环，因为内部只是一个单纯的累加，因此效率差异明显，但是并非所有的场景都适合使用并行循环。 修改一下上面的方法。 ."); } 改为操作一个全局变量的累加，这个时候由于并行请求，需要等待调用内存中的全局变量num，效率反而降低。
5.8K20发布于 2019-12-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号