首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我应该使用ThreadPools还是任务并行库来执行IO受限操作

问我应该使用ThreadPools还是任务并行库来执行IO受限操作
EN

Stack Overflow用户
提问于 2011-03-07 05:53:48
回答 6查看 24.6K关注 0票数 80

在我的一个有点像聚合器的项目中,我解析来自网络的提要、播客等等。

如果我使用顺序方法,考虑到大量的资源,它需要相当长的时间来处理所有的资源(因为网络问题和类似的事情);

代码语言:javascript
复制
foreach(feed in feeds)
{
   read_from_web(feed)
   parse(feed)
}

所以我想实现并发,但是我不能决定我是应该基本上使用ThreadPools来处理工作线程,还是仅仅依靠第三方逻辑来进行排序。

ThreadPools肯定会用工作线程为我处理这项工作,我会得到我想要的(在多核环境中,其他核心也会被利用)。

​

​

但我仍然希望考虑将TPL作为推荐方法,但我有点担心它。首先,我知道第三方物流使用ThreadPools,但增加了额外的决策层。我最关心的是存在单核环境的情况。如果我没记错的话,TPL开始时的工作线程数在一开始就等于可用CPU核心数。对于IO受限的情况,我确实担心TPL会产生类似于顺序方法的结果。

因此,对于IO绑定的操作(在我的例子中,从web读取资源),最好使用ThreadPools并控制这些操作,还是更好地依赖于第三方逻辑?是否也可以在IO绑定场景中使用TPL?

更新:我主要关心的是--在单核环境中,的行为会像顺序方法一样,还是仍然提供并发性?我已经在读Parallel Programming with Microsoft .NET和book了,但是找不到确切的答案。

注意:这是对我上一个问题[ Is it possible to use thread-concurrency and parallelism together? ]的重新表述,这是一个相当错误的表述。

EN

回答 6

Stack Overflow用户

回答已采纳

发布于 2011-03-07 19:47:25

因此,我决定为此编写测试,并在实际数据中看到它。

测试图例

  • Itr: Iteration
  • Seq:顺序方法。
  • PrlEx: Parallel Extensions - Parallel.ForEach
  • TPL: Task Parallel PrlEx
  • TPool: ThreadPool

测试结果

单核CPU Win7-32 --在VMWare下运行--

代码语言:javascript
复制
Test Environment: 1 physical cpus, 1 cores, 1 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________

Itr.    Seq.    PrlEx   TPL     TPool
________________________________________________________________________________

#1      10.82s  04.05s  02.69s  02.60s
#2      07.48s  03.18s  03.17s  02.91s
#3      07.66s  03.21s  01.90s  01.68s
#4      07.43s  01.65s  01.70s  01.76s
#5      07.81s  02.20s  01.75s  01.71s
#6      07.67s  03.25s  01.97s  01.63s
#7      08.14s  01.77s  01.72s  02.66s
#8      08.04s  03.01s  02.03s  01.75s
#9      08.80s  01.71s  01.67s  01.75s
#10     10.19s  02.23s  01.62s  01.74s
________________________________________________________________________________

Avg.    08.40s  02.63s  02.02s  02.02s
________________________________________________________________________________

在VMWare下运行的单核CPU WinXP --

代码语言:javascript
复制
Test Environment: 1 physical cpus, NotSupported cores, NotSupported logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________

Itr.    Seq.    PrlEx   TPL     TPool
________________________________________________________________________________

#1      10.79s  04.05s  02.75s  02.13s
#2      07.53s  02.84s  02.08s  02.07s
#3      07.79s  03.74s  02.04s  02.07s
#4      08.28s  02.88s  02.73s  03.43s
#5      07.55s  02.59s  03.99s  03.19s
#6      07.50s  02.90s  02.83s  02.29s
#7      07.80s  04.32s  02.78s  02.67s
#8      07.65s  03.10s  02.07s  02.53s
#9      10.70s  02.61s  02.04s  02.10s
#10     08.98s  02.88s  02.09s  02.16s
________________________________________________________________________________

Avg.    08.46s  03.19s  02.54s  02.46s
________________________________________________________________________________

双核CPU Win7-64

代码语言:javascript
复制
Test Environment: 1 physical cpus, 2 cores, 2 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________

Itr.    Seq.    PrlEx   TPL     TPool
________________________________________________________________________________

#1      07.09s  02.28s  02.64s  01.79s
#2      06.04s  02.53s  01.96s  01.94s
#3      05.84s  02.18s  02.08s  02.34s
#4      06.00s  01.43s  01.69s  01.43s
#5      05.74s  01.61s  01.36s  01.49s
#6      05.92s  01.59s  01.73s  01.50s
#7      06.09s  01.44s  02.14s  02.37s
#8      06.37s  01.34s  01.46s  01.36s
#9      06.57s  01.30s  01.58s  01.67s
#10     06.06s  01.95s  02.88s  01.62s
________________________________________________________________________________

Avg.    06.17s  01.76s  01.95s  01.75s
________________________________________________________________________________

四核CPU Win7-64 --支持HyprerThreading --

代码语言:javascript
复制
Test Environment: 1 physical cpus, 4 cores, 8 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________

Itr.    Seq.    PrlEx   TPL     TPool
________________________________________________________________________________

#1      10.56s  02.03s  01.71s  01.69s
#2      07.42s  01.63s  01.71s  01.69s
#3      11.66s  01.69s  01.73s  01.61s
#4      07.52s  01.77s  01.63s  01.65s
#5      07.69s  02.32s  01.67s  01.62s
#6      07.31s  01.64s  01.53s  02.17s
#7      07.44s  02.56s  02.35s  02.31s
#8      08.36s  01.93s  01.73s  01.66s
#9      07.92s  02.15s  01.72s  01.65s
#10     07.60s  02.14s  01.68s  01.68s
________________________________________________________________________________

Avg.    08.35s  01.99s  01.75s  01.77s
________________________________________________________________________________

Summarization

无论您是在单核环境还是在多核环境中运行,并行扩展、第三方公共许可证和ThreadPool 的行为都是相同的,并给出了近似的results.

  • Still 第三方公共许可证具有简单的异常处理、取消支持和轻松返回任务结果的能力等。尽管并行扩展也是另一种可行的alternative.

在您自己的上运行测试的

您可以下载源代码here并自行运行。如果你可以发布结果,我也会添加它们。

更新:修复了源链接。

票数 108
EN

Stack Overflow用户

发布于 2011-03-08 09:28:42

如果您试图最大化IO-bound任务的吞吐量,那么您必须将传统的异步处理模型()API与基于的工作结合起来。APM是在异步IO回调挂起时解除CPU线程阻塞的唯一方法。第三方物流提供了the TaskFactory::FromAsync helper method来帮助组合APM和第三方物流代码。

有关如何组合这两种编程模型以实现异步涅盘的更多信息,请查看MSDN上.NET SDK的这一部分,标题为TPL and Traditional .NET Asynchronous Programming。

票数 15
EN

Stack Overflow用户

发布于 2011-03-07 06:30:35

您说得对,当您创建自己的线程池时,TPL确实删除了您所拥有的一些控制。但只有当你不想深入挖掘时,这才是正确的。TPL确实允许您创建长时间运行的任务,这些任务不是TPL线程池的一部分,可以很好地满足您的需求。这本出版的书是免费阅读的Parallel Programming with Microsoft .NET,它将让您更深入地了解如何使用第三方公共许可证。您始终可以选择给Paralle.For、Tasks和explicit参数分配多少线程。除此之外,如果你想要完全控制的话,你可以用你自己的TPL调度器替换它。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5213695

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档