首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >高度可并行化问题的最佳线程数

问高度可并行化问题的最佳线程数
EN

Stack Overflow用户
提问于 2010-10-01 18:05:37
回答 3查看 263关注 0票数 0

我在12个线程中并行化了一个模拟引擎,以便在12个节点的集群上运行它(每个节点运行一个线程)。由于12个系统的可用性通常较低,因此我还调整了6个线程(在6个节点上运行)、4个线程(在4个节点上运行)、3个线程(在3个节点上运行)和2个线程(在2个节点上运行)。我注意到,节点/线程的数量越多,加速比就越大。但很明显,我使用的节点越多,执行成本就越高(在成本和功耗方面)。

我想在期刊上发表这些结果,所以我想知道是否有任何定律/定理可以帮助我决定运行该程序的最佳节点数?

谢谢,

阿克希

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2010-10-02 00:11:09

你是如何并行化你的程序的,你的每个节点里面都有什么?

例如,在我的一个集群上,我有数百个节点,每个节点包含4个双核Xeons。如果我要在这个集群上运行一个OpenMP程序,我会在一个节点上执行一次,并启动不超过8个线程,每个处理器核心一个线程。我的集群由网格引擎管理,并用于批处理作业,因此作业运行时不会发生争用。通常,请求多个节点来运行OpenMP作业是没有意义的,因为共享内存方法在分布式内存硬件上不起作用。在一个8核的节点上请求少于8个线程也不会有什么好处,我有足够的硬件可用来不必共享它。

如果您使用了分布式内存编程方法,例如MPI,那么您可能正在使用许多进程(而不是线程),并且很可能在不同节点上的核心上执行这些进程,并在通信流量方面付出代价。

正如@Blank已经指出的,如果效率意味着“最小化总cpu小时数”,那么运行程序的最有效方法就是在一个内核上运行程序。只有这样。然而,对于我的工作来说,比如说,在256个核心上需要一周的时间,等待128周才能完成一个核心的工作并不吸引人。

如果你还不熟悉以下术语,可以在谷歌上搜索它们或前往维基百科:

  • Amdahl's scaling
  • parallel speedup
  • parallel efficiency
  • scalability.

  • strong scaling

  • scaling

  • strong scaling
票数 3
EN

Stack Overflow用户

发布于 2010-10-03 02:21:25

“是否有任何定律/定理可以帮助我决定运行此程序的最佳节点数?”

没有这样的一般规律,因为每个问题都有略微不同的特征。

您可以在不同数量的节点上为问题的性能建立一个数学模型,知道需要完成多少计算工作,需要完成多少通信,以及每个通信需要多长时间。(通信时间可以通过通信量和节点互连类型的典型延迟/带宽数字来估计)。这可以指导你做出好的选择。

这些模型对于理解正在发生的事情可能很有价值,但是对于给定的问题大小,要实际确定代码运行的正确节点数,没有什么可以替代运行扩展测试-在不同数量的节点上运行问题并实际查看其执行情况。您想要查看的数字是:

作为处理器数量的函数的效率完成时间:作为处理器数量的函数的T(P)效率加速: S(P) = T(1)/T(P)

  • Parallel

  • :E(P) = S(P)/P

如何选择正确的节点数?这取决于您必须运行多少作业,以及计算资源的可接受使用。

因此,例如,在绘制计时结果图时,您可能会发现在一定数量的处理器上有一个最短的完成时间T(P) --比如32个。因此,这看起来可能是“最佳”选择。但是,当您查看效率数字时,您可能会发现效率在此之前很久就开始急剧下降;与运行16个处理器相比,您只获得(比方说) 20%的运行时间缩短-也就是说,对于2倍的计算资源,您的速度仅提高了1.25倍。这通常是一种不好的交易,您更喜欢在较少的处理器上运行-特别是当您有大量这样的模拟要运行时。(例如,如果您有2个模拟要运行,在这种情况下,您可以通过在16个处理器上同时运行两个模拟,而不是在32个处理器上一次运行一个模拟,在2个时间单位的1.25个时间单位内完成它们)。

另一方面,有时你只需要跑几次路,时间真的很重要,即使你使用资源的效率有点低。金融模型可以是这样的--他们现在需要对未来市场的预测,而且他们有钱投入到计算资源上,即使这些资源没有得到100%的有效利用。

其中一些概念将在任何并行编程教程的“并行性能简介”部分进行讨论;下面是我们的示例https://support.scinet.utoronto.ca/wiki/index.php/Introduction_To_Performance

票数 2
EN

Stack Overflow用户

发布于 2010-10-01 18:26:45

增加节点数量会导致收益递减。两个节点的速度不是一个节点的两倍;四个节点甚至比两个节点还要少。因此,最佳节点数始终为1;每个节点完成的工作最多的是单个节点。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3838187

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档