- 综合排序
- 最热优先
- 最新优先
- 来自专栏小小码农一个。
Java8并行流
而 Java8 为我们提供了并行流，可以一键开启并行模式。是不是很酷呢？让我们来看看。 并行流 认识和开启并行流 什么是并行流：并行流就是将一个流的内容分成多个数据块，并用不同的线程分别处理每个不同数据块的流。 并行流 可以大大缩短这个时间。 但要注意：流的并行和顺序转换不会对流本身做任何实际的变化，仅仅是打了个标记而已。并且在一条流水线上对流进行多次并行 / 顺序的转换，生效的是最后一次的方法调用 并行流如此方便，它的线程从那里来呢？ 对于 iterate 方法来处理的前 n 个数字来说，不管并行与否，它总是慢于循环的，非并行版本可以理解为流化操作没有循环更偏向底层导致的慢。可并行版本是为什么慢呢？
93330发布于 2020-12-18 - 来自专栏罗西的思考
模型并行分布式训练 Megatron (3) ---模型并行实现
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现 目录 [源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现 0x00 摘要 0x01 并行Transformer 6.2 共轭函数 0xFF 参考 0x00 摘要 NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor 并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。 本文将看看 Megatron 如何处理模型并行。 本系列其他文章为： [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x01 并行Transformer
2.9K20编辑于 2022-11-28 - 来自专栏罗西的思考
模型并行分布式训练 Megatron (4) --- 如何设置各种并行
[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行 目录 [源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行 0x00 摘要 0x01 本系列其他文章为： [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 [源码解析] 模型并行分布式训练 = 16 / 8 = 2，就是2个 GPUs 来进行模型张量并行。 因为张量模型并行组大小是2，即16个GPU被分成8组，则这8组内容是 [g0, g1], [g2, g3], [g4, g5], [g6, g7], [g8, g9], [g10, g11], [g12 因为数据并行组大小是2，16个GPU被分成8组，则这8组内容是[g0, g2], [g1, g3], [g4, g6], [g5, g7], [g8, g10], [g9, g11], [g12, g14
3.1K10编辑于 2022-05-09 - 来自专栏机器之心
分布式训练中数据并行远远不够，「模型并行+数据并行」才是王道
来自加州大学洛杉矶分校和英伟达的研究人员探索了混合并行化方法，即结合数据并行化和模型并行化，解决 DP 的缺陷，实现更好的加速。 研究者对 Inception-V3、GNMT 和 BigLSTM 进行了测试，发现在大规模设置下，相比仅使用 DP 策略，混合策略分别实现了至少 26.5%、8% 和 22% 的端到端训练加速。 研究者实现了 InceptionV3、GNMT 和 BigLSTM 的双路模型并行化版本，发现相比仅使用 DP 策略，混合训练可提供至少 26.5%、8% 和 22% 的加速。 案例研究：Inception-V3 下图 8 中蓝条表示 DLPlacer 估计的每时间步 MP 加速（经过正则化处理），橙条表示按照 DLPlacer 找到的最优布局在真实芯片上进行 Tensorflow 图 8：DLPlacer 估计的每时间步 MP 加速（经过归一化处理）vs 真实实验中得到的每时间步 MP 加速。 论文链接：https://arxiv.org/pdf/1907.13257.pdf
1.4K20发布于 2019-09-03 - 来自专栏CreateAMind
分布式并行架构Ray介绍
Ray is a fast and simple framework for building and running distributed applications. The same code can be run on a single machine to achieve efficient multiprocessing, and it can be used on a cluster for large computations.
2.1K20发布于 2019-08-13 - 来自专栏第三方工具
java8并行计算
1.串行计算的模拟运行时间（time=532） 2.CompleteFuture并行计算（time=231） 3.Callable并行计算 （time=208） Java8 多线程及并行计算demo 可以启动3个多线程来并行计算。最后计算完毕之后，组装对象，并行计算完毕。 throws Exception{ userInfo.setAge(30); Thread.sleep(180); } } 2.CompleteFuture并行计算 java.util.concurrent.Executors; /** * userInfo={"username":"刘德华","sex":"男","age":30},time=231 * * Java8 多线程及并行计算demo * https://www.cnblogs.com/oktokeep/p/16639417.html */ public class CompleteFutureTest
36710编辑于 2024-10-09 - 来自专栏小工匠聊架构
Java 8 - 并行流计算入门
Stream 接口可以很轻松的就能对数据集执行并行操作。它允许你声明性地将顺序流变为并行流。 另外我们也要关注流是如何在幕后应用Java 7引入的分支/合并框架的。 ---- 将顺序流转化为并行流 你可以把流转换成并行流，从而让前面的函数归约过程（也就是求和）并行运行——对顺序流调用 parallel 方法： ? 在本例中，流水线会并行执行，因为最后调用的是它。 ---- 配置并行流使用的线程池 看看流的 parallel 方法，你可能会想，并行流用的线程是?哪儿来的？有多少个？怎么自定义这个过程呢？ 由此可见，选择适当的数据结构往往比并行化算法更重要。但要是对这个新版本应用并行流呢？ 这… 终于，我们得到了一个比顺序执行更快的并行归纳，因为这一次归纳操作可以像刚才并行计算的那个流程图那样执行了。这也表明，使用正确的数据结构然后使其并行工作能够保证最佳的性能。
1.5K20发布于 2021-08-17 - 来自专栏Java工程师成长之路
java8 parallel并行处理实战
而java8刚好提供了这样的功能，对集合数据的并发执行parallel，所以有了以下测试 为加快统计速度尝试 原代码用时 2018-10-15 15:03:22.863 |-INFO [SimpleAsyncTaskExecutor java8 代码用时 2018-10-15 14:54:17.487 |-INFO [SimpleAsyncTaskExecutor-1] com.beikbank.settlement.api.jobs.TaskJob //io数据库操作 } 使用java8 流并行代码 allUserList.stream().parallel().forEach(allUser -> { String userIdkey = //io数据库操作 }); 总结 数据统计存在数据库操作的，使用java8的parallel可以加快统计速度，从上面图片的对比可以看出，使用parallel后jdbc连接会存在多个并行执行，执行效率和机器配置内存等相关
82730发布于 2019-09-10 - 来自专栏Michael阿明学习之路
python 并发、并行处理、分布式处理
并行编程 线程 进程 使用多个进程 接口 Executor ，ProcessPoolExecutor 5. 锁 6. 分布式处理 dask pyspark mpi4py 科学计算 7. observable sequence （被观察者） print(obs) # <reactivex.observable.observable.Observable object at 0x00000216C8F56CD0 obs[2].subscribe(lambda x: x.subscribe(print)) print('-'*10) 0 3 6 9 ---------- 1 4 7 ---------- 2 5 8 并行编程 问题是独立的，或者高度独立的，可以使用多核进行计算 如果子问题之间需要共享数据，实现起来不那么容器，有进程间通信开销的问题 线程 以共享内存方式实现并行的一种常见方式是 线程 由于 python 分布式处理 dask https://www.dask.org/ pyspark 用户提交任务，集群管理器自动将任务分派给空闲的执行器 mpi4py 科学计算 https://pypi.org/project
2.3K20编辑于 2022-09-22 - 来自专栏罗西的思考
PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 目录 [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 0x00 摘要 0x01 之进程组 [源码解析] PyTorch 分布式(8) -------- DistributedDataParallel之论文篇 [源码解析] PyTorch 分布式(9) ----- DistributedDataParallel 6) ---- 引擎(下) [源码解析] PyTorch分布式优化器(1)----基石篇 [源码解析] PyTorch分布式优化器(2)----数据并行优化器 [源码解析] PyTorch分布式优化器( 这可以看作是单机模型并行最佳实践中讨论的多 GPU 流水线并行的分布式对应版本。 1.2 基础知识 之前的教程分布式 RPC 框架入门 展示了如何使用torch.distributed.rpc 为 RNN 模型实现分布式模型并行。
1K40编辑于 2021-12-21 - 来自专栏罗西的思考
PyTorch分布式优化器(3)---- 模型并行
[源码解析] PyTorch分布式优化器(3)---- 模型并行 目录 [源码解析] PyTorch分布式优化器(3)---- 模型并行 0x00 摘要 0x01 前文回顾 0x02 单机模型 2.1 本文介绍PyTorch 分布式优化器和PipeDream之中的优化器，主要涉及模型并行（流水线并行）。 于是人们引入了模型并行（model parallel）。 与此对应，优化器也需要做不同的修改以适应模型并行的需求。为了更好的分析，本文首先介绍单机模型并行，然后介绍PyTorch分布式优化器。 模型并行被广泛用于分布式训练。 0x03 分布式问题和方案 我们已经了解了单机之上的模型并行，接下来就要看模型跨越多个服务器的分布式模型并行训练。 3.1 思路 我们先设想一下如果自己实现分布式优化器，应该如何处理。
1.8K40编辑于 2021-12-10 - 来自专栏罗西的思考
并行分布式框架 Celery 之架构 (1)
[源码解析] 并行分布式框架 Celery 之架构 (1) 目录 [源码解析] 并行分布式框架 Celery 之架构 (1) 0x00 摘要 0x01 Celery 简介 1.1 什么是 Celery 它是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 0x02 Celery的架构 Celery 的基本逻辑为：分布式异步消息任务队列。 在 Celery 中，采用的是分布式的管理方式，每个节点之间都是通过广播/单播进行通信，从而达到协同效果。 Producer = {type} <class 'kombu.messaging.Producer'> app = {Celery} <Celery myTest at 0x252bd2903c8> > publisher_pool = {ProducerPool} <kombu.pools.ProducerPool object at 0x00000252BDC8F408> queues =
1.1K20编辑于 2022-05-09 - 来自专栏小工匠聊架构
Java 8 - 正确高效的使用并行流
---- Pre Java 8 - 并行流计算入门 ---- 正确使用并行流，避免共享可变状态 错用并行流而产生错误的首要原因，就是使用的算法改变了某些共享状态。 要是你想用并行 Stream 又不想引发类似的意外，就必须避免这种情况。 所以共享可变状态会影响并行流以及并行计算,要避免共享可变状态，确保并行 Stream 得到正确的结果。 ---- 高效使用并行流 是否有必要使用并行流？ 如果有疑问，多次测试结果。把顺序流转成并行流轻而易举，但却不一定是好事 留意装箱。 自动装箱和拆箱操作会大大降低性能 Java 8中有原始类型流（ IntStream 、LongStream 、 DoubleStream ）来避免这种操作，但?有可能都应该用这些流。 Q值较高就意味着使用并行流时性能好的可能性比较大。 对于较小的数据量，选择并行流几乎从来都不是一个好的决定。并行处理少数几个元素的好处还?
83730发布于 2021-08-17 - 来自专栏AI前沿技术
大模型分布式训练 —— 张量并行TP
本文：1）首先介绍张量并行矩阵分块，按行和按列两种方式，2）接着图解MLP和self-attention的分块原理，以及对应的通信量，3）最后介绍编码层和损失层的分块和通信优化。 3，自注意力层分块计算 参数矩阵分解方式：对三个参数矩阵Q，K，V，按照”列切割”，每个头放到一块GPU上，做并行计算。
36210编辑于 2026-01-13 - 来自专栏罗西的思考
并行分布式框架 Celery 之 容错机制
0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的故障转移容错机制。 None, 'retries': 0, 'timelimit': [None, None], 'root_id': '8c1923ae-e330-4ca8-b81f-432e2959de5e', 'parent_id = {dict: 7} {'correlation_id': '8c1923ae-e330-4ca8-b81f-432e2959de5e', 'reply_to': '7d97167c-099f-3446 具体举例如下: "delivery_tag": "fa1bc9c8-3709-4c02-9543-8d0fe3cf4e6c"。 这里宣传一个同学的分布式函数调度框架，https://github.com/ydf0509/distributed_framework。非常优秀的实现。大家可以作为 Celery 的替代品。
1.1K20发布于 2021-05-19 - 来自专栏罗西的思考
并行分布式框架 Celery 之架构 (2)
[源码解析] 并行分布式框架 Celery 之架构 (2) 0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 上文 [源码解析] 并行分布式框架 Celery 之架构 (1) 中，我们大致介绍了 Celery 的概念，用途和架构，现在回忆 Celery 的架构图如下： +-----------+ 这就涉及到两个最重要的问题： 如何拆分计算逻辑； 如何分发计算逻辑； 于是 Spark 把所有的计算逻辑划分为这两种类型： 能够分发到各个节点上并行执行的； 需要经过一定量的结果合并之后才能继续执行的； 有些人可能会担心，分块处理会导致并行性能下降，实际上，由于避免了消息传递的开销，因此反而会大大的提高性能。 我们从负载均衡，容灾恢复，worke之间交互这三个角度来看看 Celery 如何实现分布式。
1.2K10发布于 2021-04-01 - 来自专栏数据结构和算法
探索LightGBM：并行化与分布式训练
导言 LightGBM是一种高效的梯度提升决策树算法，通过并行化和分布式训练，可以加速模型训练过程，特别是在处理大规模数据集时。 本教程将详细介绍如何在Python中使用LightGBM进行并行化和分布式训练，并提供相应的代码示例。 并行化训练 LightGBM支持多线程和多进程的并行化训练，可以利用多核CPU来加速模型训练。 除了并行化训练，LightGBM还支持分布式训练，可以在多台机器上同时训练模型。 我们介绍了如何利用多线程进行并行化训练，并演示了如何在多台机器上进行分布式训练。 通过这篇博客教程，您可以详细了解如何在Python中使用LightGBM进行并行化和分布式训练。 您可以根据需要对代码进行修改和扩展，以满足特定的并行化和分布式训练需求。
86210编辑于 2024-02-28 - 来自专栏罗西的思考
模型并行分布式训练Megatron (1) --- 论文 & 基础
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 目录 [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 0x00 摘要 0x01 Introduction 模型并行性与数据并行性是正交的，因此我们可以同时使用二者在来训练大型模型。下图显示了一组用于混合模型并行和数据并行性的GPU。 一个模型需要占据8张卡，模型被复制了64分，一共启动了512个即成。 模型并行。同一服务器内的多个GPU形成模型并行组（model parallel group），例如图中的GPU 1到8，并包含分布在这些GPU上的模型实例。 混合模型和数据并行的GPU分组，8路模型并行和64路数据并行。 0x03 并行配置 我们接着看如何混合使用各种并行。 3.1 符号说明 以下是本文余下使用的符号说明。 因此，当张量并行大小等于单个节点中的GPU数量（8个，DGX A100个节点）时会达到峰值性能。
4K10编辑于 2022-05-09 - 来自专栏罗西的思考
并行分布式框架 Celery 之 worker 启动 (2)
[源码解析] 并行分布式框架 Celery 之 worker 启动 (2) 目录 [源码解析] 并行分布式框架 Celery 之 worker 启动 (2) 0x00 摘要 0x01 前文回顾 0x2 逐次调用step 3.2.4.1 Hub 3.2.4.2 Pool 3.2.4.3 Consumer 0x4 本文总结 0xFF 参考 0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 Kombu 之 Consumer [源码分析] 消息队列 Kombu 之 Producer [源码分析] 消息队列 Kombu 之 启动过程 [源码解析] 消息队列 Kombu 之 基本架构 以及 源码解析 并行分布式框架 Celery 之架构 (2) [源码解析] 并行分布式框架 Celery 之架构 (2) [源码解析] 并行分布式框架 Celery 之 worker 启动 (1) 0x01 前文回顾 前文提到了，我们经过一系列过程
1.6K20发布于 2021-04-07 - 来自专栏罗西的思考
并行分布式任务队列 Celery 之 负载均衡
[源码解析] 并行分布式任务队列 Celery 之 负载均衡 目录 [源码解析] 并行分布式任务队列 Celery 之 负载均衡 0x00 摘要 0x01 负载均衡 1.1 哪几个 queue 1.1.1 Autoscaler 2.1 调用时机 2.2 具体实现 2.2.1 bgThread 2.2.2 定义 0xEE 个人信息 0xFF 参考 0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统
1.1K20发布于 2021-05-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号