- 综合排序
- 最热优先
- 最新优先
- 来自专栏科学计算
11 并行计算
0.77 seconds 9 finished in 0.38 seconds 12 finished in 0.11 seconds 7 finished in 0.88 seconds 11 我们把用来执行并行任务的进程称为 “worker”，假如总共只有一个进程，那么进程1就被认为是 worker，否则，除了进程1以外的进程都称作 worker。 REPL上多进程使用方式，在julia的可执行文件的路径下打开命令行，执行julia -p n，就是启动n个进程的julia # 指定进程2来生成一个3x4的随机矩阵 r = remotecall(rand 中的数据获取到当前进程中 # 取得s fetch(s) 也可以让Julia自行指定进程 r = @spawn rand(2,2) s = @spawn 1 .+ fetch(r) fetch(s) 要想让代码并行执行
1.5K20发布于 2020-06-30 - 来自专栏sktj
python 多进程 (并行编程 11)
def foo(i): print('called function in process %s' % i) if name=="main": pros=[] for i in range(5): p=multiprocessing.Process(target=foo,args=(i,)) pros.append(p) p.start() p.join()
75320发布于 2019-07-30 - 来自专栏存储公众号：王知鱼
Hammerspace：全局并行文件系统架构案例
AI/新场景对海量文件的效率要求，使得并行文件系统备受关注。全局命名空间+并行文件系统是Hammerspace对当前AI场景的求解。 核心架构：数据为中心的架构 消除数据孤岛并提供极致的并行性能，以实现任何站点、云和存储上的计算、应用和用户访问。 Hammerspace 全局数据平台将跨站点、云和任何存储的非结构化数据统一到一个单一、并行的全局文件系统中，并具有全局命名空间。 • 真正的全局化、基于标准的并行文件系统：跨越多个站点和多云环境，呈现单个全局命名空间。在所有主要供应商的新旧存储设备上存储数据。 • 降低渲染生产成本 • 消除文件复制和手动文件编排 • 充分利用分布式基础设施优势，就近接入本地资源、人才 引用链接 [1] Hammerspace: https://hammerspace.com/
65610编辑于 2025-02-11 - 来自专栏小徐学爬虫
并行处理百万个文件的解析和追加
处理和解析大量文件，尤其是百万级别的文件，是一个复杂且资源密集的任务。 这里主要介绍如何使用concurrent.futures模块来并行处理和追加文件。问题背景在数据处理的过程中，经常会遇到需要对大量文件进行解析和追加的情况。如果使用单进程进行处理，则会花费大量的时间。 为了提高处理效率，可以采用并行处理的方式，即同时使用多个进程来处理不同的文件。 在 Python 中，可以使用 multiprocessing 模块来实现并行处理。 ，解析文件并将其追加到输出文件中。 Dask可以自动管理并行任务，并提供更强大的分布式计算能力。通过合理的并行和分布式处理，可以显著提高处理百万级文件的效率。
63610编辑于 2024-07-08 掌握 Python 文件处理、并行处理和装饰器
第一部分：Python 文件处理1. 基本文件操作Python 内置的 open() 函数让文件操作变得格外轻松。 处理大型文件试图一次性加载超大文件？❌ 并非上策。 10000for chunk in pd.read_csv("large_data.csv", chunksize=chunk_size): print(chunk.shape)第二部分：Python 并行处理想在更短时间内完成更多任务 通过并行充分利用 CPU 和 I/O。1. 3. concurrent.futures —— 简化的并行处理对于 I/O 密集型任务：python 体验AI代码助手 代码解读复制代码from concurrent.futures import ThreadPoolExecutordef
27010编辑于 2025-05-26- 来自专栏素质云笔记
提升R代码运算效率的11个实用方法——并行、效率
本文将介绍几种适用于大数据领域的方法，包括简单的逻辑调整设计、并行处理和Rcpp的运用，利用这些方法你可以轻松地处理1亿行以上的数据集。 9.利用并行运算 并行运算的代码： ? 10.尽早地移除变量并恢复内存容量 在进行冗长的循环计算前，尽早地将不需要的变量移除掉。 11.利用内存较小的数据结构 data.table()是一个很好的例子，因为它可以减少数据的内存，这有助于加快运算速率。 ?
1.4K50发布于 2019-05-26 - 来自专栏鸿的学习笔记
聊聊并行并行编程
并行编程主要聚焦于性能，生产率和通用性上。 所谓性能，更像是可扩展性以及效率。不再聚焦于单个CPU的性能，而是在于平均下来CPU的性能。 并行和并发有着小小的区别：并行意味着问题的每个分区有着完全独立的处理，而不会与其他分区进行通信。并发可能是指所有的一切事务， 这可能需要紧密的，以锁的形式或其他的互相通信的方式形成的相互依赖。 因为并行编程的相对较难，导致工程师的生产率不会太高，会聚焦于更精密的细节，花费大量的时间。 并行任务变得复杂不仅仅在于之上的原因，更因为： 1.对代码，对任务的分割，这会导致错误处理以及事件处理更为复杂。如果并行程序之间会牵扯到交互，通信的时间成本，共享资源的分配和更新更为复杂。 2.并行访问控制，单线程的应用程序可以对本实例中的所有资源具有访问权，例如内存中的数据结构，文件之类的。
1.4K10发布于 2018-08-06 - 来自专栏yaphetsfang
数据并行和任务并行
OpenCL并行加减乘除示例——数据并行与任务并行 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhouxuanyuye/article/details/79949409 OpenCL并行加减乘除示例——数据并行与任务并行 关键词：OpenCL; data parallel; task parallel 数据并行化计算与任务并行化分解可以加快程序的运行速度。 这种办法对不同的数据使用相同的核函数，称为数据并行。 ? 图3. (task parallel) 另外还有一种就是任务并行化，可以使所有功能函数内部的语句并行执行，即任务并行化，如本文中的功能函数可以分解为“加减乘除”这四个任务，可以产生“加减乘除”四个核函数，让四个函数同时执行
2.3K30发布于 2020-07-30 - 来自专栏前端达人
第11课：Multi-Agent 实战，并行编排的5种模式
这里快速复习，加入 Agent 视角的补充： 能并行的条件（必须同时满足）： ✅ 任务之间不需要互相等待结果 ✅ 不同的 Agent 改的是不同文件 ✅ 每个 Agent 有足够的独立上下文 不能并行的信号： ❌ "先做完A才能做B"（依赖关系） ❌ 两个 Agent 要改同一个文件（写冲突） ❌ 一个 Agent 的输入是另一个的输出 下面的5种模式会在具体场景中展示怎么判断和处理 配置和环境：找到所有配置文件、环境变量、第三方服务集成 (thoroughness: quick) 5个任务互不依赖，并行执行。完成后给我一份综合概览。 " → 5个Explore分别搜索：直接调用方、间接引用、测试文件、文档引用、配置引用 技术债评估："扫描一下项目里有哪些技术债" → 5个Explore分别检查：超长文件、无测试覆盖的模块、硬编码、 模式2：分而治之——每人负责一个文件 应用场景：一个大任务可以按文件/模块拆分成多个独立子任务。 原理：每个 Agent 处理一个文件或模块，它们同时工作，互不干扰。
12210编辑于 2026-04-15 - 来自专栏Python爬虫与数据挖掘
Pycharm里如何设置多Python文件并行运行
前几天在Python白银交流群【巭孬】分享了一个Pycharm同一时间同时运行多个Python文件的方法，这里拿出来给大家分享下。 二、实现过程 设置的方法如下： 如果你是下图英文界面这样的，就选择右上角的【Allow parallel run】即可，即代表允许多个实例： 就先点击Templates，然后找到Python文件。
3.5K10编辑于 2024-02-17 - 来自专栏入门小站
linux中wget并行下载文件的几种姿势
wget可以下载文件。 一般使用可以同时下载一个文件，某些时候我们需要下载多个文件,这个时候为了节约时间就需要并行下载文件 使用wget下载文件 使用wget下载文件相当简单： > wget https://rumenz.com /static/v/v.mp4 这样运行一次只能下载一个文件。 我们可以通过并行下载文件来加快速度。 使用 wget并行下载 我们可以通过不同的方式并行制作wget下载文件。 Bash 方法 使用& 将wget进程发送到后台： #! 尽管我们现在并行下载文件，但这种方法不能反馈出错的信息。 wget Fork 使用-b参数，让wget将自己Fork到后台： #!
5K10编辑于 2022-06-02 - 来自专栏计算机技术-参与活动
算力共享：数据并行，模型并行，流水线并行，混合并行策略
# 算力共享：混合并行策略混合并行策略是在深度学习模型训练过程中，综合运用多种并行技术来加速训练过程的方法。以下是常见的并行技术以及混合并行策略的举例： 一、常见并行技术1. **DeepSpeed和Alpa框架的混合并行** - **策略**：在单机多卡场景下，优先采用张量并行（一种模型并行方式），将模型的计算密集型部分（如大规模矩阵运算）在多个GPU上并行执行，充分利用单机的计算资源 **Megatron - LM的混合并行** - **策略**：结合了**数据并行和模型并行**。 通过数据并行来利用多个GPU处理不同的数据子集，同时采用模型并行（如张量并行和流水线并行）来处理模型过大无法在单个GPU上运行的问题。 - 在模型并行方面，对于Transformer架构中的矩阵乘法等操作，采用张量并行进行切分计算。
1.4K10编辑于 2025-01-01 - 来自专栏函数式编程语言及工具
FunDA（11）－ 数据库操作的并行运算：Parallel data processing
FunDA最重要的设计目标之一就是能够实现数据库操作的并行运算。我们先重温一下fs2是如何实现并行运算的。 val s1: Stream[Task,Int] = Stream(1,2,3,4,5).through(randomDelay(100.millis)) val s2 = Stream(11,22,33,44,55,66 interleave s2).through(log("")).run.unsafeRun //> >1 //| >11 //| >55 (s1 merge s2).through(log("")).run.unsafeRun //> >11 (s1.toPar(updateYear))(3) s1是并行构建的数据源，s2是对数据源产生的元素进行并行的函数updateYear施用。
1.1K80发布于 2018-01-05 - 来自专栏架构进阶
面试题目：多线程并行处理日志文件
一 题目 Log文件一行是一条记录，字段中间用空格分开 如： ReadError: error info 1 WriteError: error info 2 ... 假设第一个字段(:前面的字段,ReadError、WriteError等)是错误类型，总共有5个日志文件，filePath1, filePath2... filePath5 需求是，多线程并行处理5个文件，汇总之后，返回出现次数最多的10种错误类型及其个数。 比如： 1. 错误类型：ReadError 总出现次数：1111 2. 注：假设内存足够 二 分析 几个关键信息： 1）日志格式，空格区分，但事件类型的关键字在第一段的冒号":"前 2）5个文件，为了提高处理效率，需要多线程执行，但最终需要做汇总操作； 3）要返回次数最多的 采用自底向上的分析方法，处理步骤如下所示： 1、日志文件读取（逐行方式），注意：文件不存在的情况，异常捕获 2、行数据解析，字符串分割，取冒号: 前的子串为错误类型，注意：异常数据格式处理 3、每个文件内的数据汇总
1K10发布于 2021-04-13 - 来自专栏娱乐心理测试
xcode11新增SceneDelegate文件
好久之前跟新到Xcode11，跟新完成后打开以前老项目并未有什么太大变化，也就没有在意，今天新建一个项目，创建完成后，发现多了个SceneDelegate的.m和.h文件，这是什么鬼？它有什么用呢？ 原来在iOS13中，AppDelegate的文件结构发生了变化： iOS13以前：AppDelegate处理App生命周期和UI生命周期； iOS13以后：处理 App 生命周期和新的 Scene Session 生命周期，在AppDelegate.h文件中没有了window属性，而是在SceneDelegate中，可见AppDelegate不管理window而是交给SceneDelegate。 makeKeyAndVisible]; } 二.SceneDelegate适配 场景一:不需要支持多个scene，需要兼容iOS13以下，按以往的Appdelegate管理window的方式适配： 打开info.plist文件 2.删掉SceneDelegate文件，注释以下代码： - (UISceneConfiguration *)application:(UIApplication *)application configurationForConnectingSceneSession
2.2K21发布于 2019-12-11 C++11 并发编程基础（一）：并发、并行与C++多线程
C++11标准在标准库中为多线程提供了组件，这意味着使用C++编写与平台无关的多线程程序成为可能，而C++程序的可移植性也得到了有力的保证。 并发的程序设计，提供了一种方式让我们能够设计出一种方案将问题（非必须地）并行地解决。如果我们将程序的结构设计为可以并发执行的，那么在支持并行的机器上，我们可以将程序并行地执行。 C++11 标准提供了一个新的线程库，内容包括了管理线程、保护共享数据、线程间的同步操作、低级原子操作等各种类。 C++11 新标准中引入了几个头文件来支持多线程编程：<thread>:包含std::thread类以及std::this_thread命名空间。管理线程的函数和类在 中声明. 在下一篇文章里，我们将继续探索< thread >头文件的内容，编写更复杂的并发程序。文章出处http://www.cnblogs.com/QG-whz/p/5186243.html
31340编辑于 2023-11-10- 来自专栏Rust语言学习交流
【Rust日报】2023-11-09 - Nightly Channel 中更快的并行编译前端
来自并行 Rustc 工作组的博客介绍 Rust 编译器的前端如何利用并行执行显著减少编译时间。 文章还解释了编译器前后端的工作方式，以及现有的几种并行性支持。 现在这个新特性可以在 nightly channel 中启用，并且预计在 2024 年发布至 stable channel。 你可以使用环境变量的形式开启这一特性： $ RUSTFLAGS="-Z threads=8" cargo build --release 或者编辑 config.toml 文件： [build] rustflags threads=8"] Faster compilation with the parallel front-end in nightly : https://blog.rust-lang.org/2023/11 新一期的 Rust 周报速递发布，快来看看有哪些内容你曾经关注过 :) This Week in Rust 520: https://this-week-in-rust.org/blog/2023/11
38710编辑于 2023-11-11 C++11 并发编程基础（一）：并发、并行与C++多线程
C++11标准在标准库中为多线程提供了组件，这意味着使用C++编写与平台无关的多线程程序成为可能，而C++程序的可移植性也得到了有力的保证。 并发的程序设计，提供了一种方式让我们能够设计出一种方案将问题（非必须地）并行地解决。如果我们将程序的结构设计为可以并发执行的，那么在支持并行的机器上，我们可以将程序并行地执行。 C++11 标准提供了一个新的线程库，内容包括了管理线程、保护共享数据、线程间的同步操作、低级原子操作等各种类。 C++11 新标准中引入了几个头文件来支持多线程编程：<thread>:包含std::thread类以及std::this_thread命名空间。管理线程的函数和类在 中声明. 在下一篇文章里，我们将继续探索< thread >头文件的内容，编写更复杂的并发程序。文章出处http://www.cnblogs.com/QG-whz/p/5186243.html
1.2K30编辑于 2023-11-10C++11 并发编程基础（一）：并发、并行与C++多线程
C++11标准在标准库中为多线程提供了组件，这意味着使用C++编写与平台无关的多线程程序成为可能，而C++程序的可移植性也得到了有力的保证。 并发的程序设计，提供了一种方式让我们能够设计出一种方案将问题（非必须地）并行地解决。如果我们将程序的结构设计为可以并发执行的，那么在支持并行的机器上，我们可以将程序并行地执行。 C++11 标准提供了一个新的线程库，内容包括了管理线程、保护共享数据、线程间的同步操作、低级原子操作等各种类。 C++11 新标准中引入了几个头文件来支持多线程编程： :包含std::thread类以及std::this_thread命名空间。管理线程的函数和类在 中声明. 在下一篇文章里，我们将继续探索< thread >头文件的内容，编写更复杂的并发程序。 文章出处 http://www.cnblogs.com/QG-whz/p/5186243.html
57940编辑于 2023-11-11- 来自专栏我的技术专栏
C++11 并发编程基础（一）：并发、并行与C++多线程
C++11标准在标准库中为多线程提供了组件，这意味着使用C++编写与平台无关的多线程程序成为可能，而C++程序的可移植性也得到了有力的保证。 并行：同一时刻内同时处理多个操作： 图中整个安检系统是一个并行的系统。 C++11 标准提供了一个新的线程库，内容包括了管理线程、保护共享数据、线程间的同步操作、低级原子操作等各种类。 C++11 新标准中引入了几个头文件来支持多线程编程： < thread > :包含std::thread类以及std::this_thread命名空间。 在下一篇文章里，我们将继续探索< thread >头文件的内容，编写更复杂的并发程序。
1.4K10编辑于 2022-05-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号