在我的一个有点像聚合器的项目中,我解析来自网络的提要、播客等等。
如果我使用顺序方法,考虑到大量的资源,它需要相当长的时间来处理所有的资源(因为网络问题和类似的事情);
foreach(feed in feeds)
{
read_from_web(feed)
parse(feed)
}所以我想实现并发,但是我不能决定我是应该基本上使用ThreadPools来处理工作线程,还是仅仅依靠第三方逻辑来进行排序。
ThreadPools肯定会用工作线程为我处理这项工作,我会得到我想要的(在多核环境中,其他核心也会被利用)。

但我仍然希望考虑将TPL作为推荐方法,但我有点担心它。首先,我知道第三方物流使用ThreadPools,但增加了额外的决策层。我最关心的是存在单核环境的情况。如果我没记错的话,TPL开始时的工作线程数在一开始就等于可用CPU核心数。对于IO受限的情况,我确实担心TPL会产生类似于顺序方法的结果。
因此,对于IO绑定的操作(在我的例子中,从web读取资源),最好使用ThreadPools并控制这些操作,还是更好地依赖于第三方逻辑?是否也可以在IO绑定场景中使用TPL?
更新:我主要关心的是--在单核环境中,的行为会像顺序方法一样,还是仍然提供并发性?我已经在读Parallel Programming with Microsoft .NET和book了,但是找不到确切的答案。
注意:这是对我上一个问题[ Is it possible to use thread-concurrency and parallelism together? ]的重新表述,这是一个相当错误的表述。
发布于 2011-03-07 19:47:25
因此,我决定为此编写测试,并在实际数据中看到它。
测试图例
测试结果
单核CPU Win7-32 --在VMWare下运行--
Test Environment: 1 physical cpus, 1 cores, 1 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________
Itr. Seq. PrlEx TPL TPool
________________________________________________________________________________
#1 10.82s 04.05s 02.69s 02.60s
#2 07.48s 03.18s 03.17s 02.91s
#3 07.66s 03.21s 01.90s 01.68s
#4 07.43s 01.65s 01.70s 01.76s
#5 07.81s 02.20s 01.75s 01.71s
#6 07.67s 03.25s 01.97s 01.63s
#7 08.14s 01.77s 01.72s 02.66s
#8 08.04s 03.01s 02.03s 01.75s
#9 08.80s 01.71s 01.67s 01.75s
#10 10.19s 02.23s 01.62s 01.74s
________________________________________________________________________________
Avg. 08.40s 02.63s 02.02s 02.02s
________________________________________________________________________________在VMWare下运行的单核CPU WinXP --
Test Environment: 1 physical cpus, NotSupported cores, NotSupported logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________
Itr. Seq. PrlEx TPL TPool
________________________________________________________________________________
#1 10.79s 04.05s 02.75s 02.13s
#2 07.53s 02.84s 02.08s 02.07s
#3 07.79s 03.74s 02.04s 02.07s
#4 08.28s 02.88s 02.73s 03.43s
#5 07.55s 02.59s 03.99s 03.19s
#6 07.50s 02.90s 02.83s 02.29s
#7 07.80s 04.32s 02.78s 02.67s
#8 07.65s 03.10s 02.07s 02.53s
#9 10.70s 02.61s 02.04s 02.10s
#10 08.98s 02.88s 02.09s 02.16s
________________________________________________________________________________
Avg. 08.46s 03.19s 02.54s 02.46s
________________________________________________________________________________双核CPU Win7-64
Test Environment: 1 physical cpus, 2 cores, 2 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________
Itr. Seq. PrlEx TPL TPool
________________________________________________________________________________
#1 07.09s 02.28s 02.64s 01.79s
#2 06.04s 02.53s 01.96s 01.94s
#3 05.84s 02.18s 02.08s 02.34s
#4 06.00s 01.43s 01.69s 01.43s
#5 05.74s 01.61s 01.36s 01.49s
#6 05.92s 01.59s 01.73s 01.50s
#7 06.09s 01.44s 02.14s 02.37s
#8 06.37s 01.34s 01.46s 01.36s
#9 06.57s 01.30s 01.58s 01.67s
#10 06.06s 01.95s 02.88s 01.62s
________________________________________________________________________________
Avg. 06.17s 01.76s 01.95s 01.75s
________________________________________________________________________________四核CPU Win7-64 --支持HyprerThreading --
Test Environment: 1 physical cpus, 4 cores, 8 logical cpus.
Will be parsing a total of 10 feeds.
________________________________________________________________________________
Itr. Seq. PrlEx TPL TPool
________________________________________________________________________________
#1 10.56s 02.03s 01.71s 01.69s
#2 07.42s 01.63s 01.71s 01.69s
#3 11.66s 01.69s 01.73s 01.61s
#4 07.52s 01.77s 01.63s 01.65s
#5 07.69s 02.32s 01.67s 01.62s
#6 07.31s 01.64s 01.53s 02.17s
#7 07.44s 02.56s 02.35s 02.31s
#8 08.36s 01.93s 01.73s 01.66s
#9 07.92s 02.15s 01.72s 01.65s
#10 07.60s 02.14s 01.68s 01.68s
________________________________________________________________________________
Avg. 08.35s 01.99s 01.75s 01.77s
________________________________________________________________________________Summarization
无论您是在单核环境还是在多核环境中运行,并行扩展、第三方公共许可证和ThreadPool 的行为都是相同的,并给出了近似的results.
在您自己的上运行测试的
您可以下载源代码here并自行运行。如果你可以发布结果,我也会添加它们。
更新:修复了源链接。
发布于 2011-03-08 09:28:42
如果您试图最大化IO-bound任务的吞吐量,那么您必须将传统的异步处理模型()API与基于的工作结合起来。APM是在异步IO回调挂起时解除CPU线程阻塞的唯一方法。第三方物流提供了the TaskFactory::FromAsync helper method来帮助组合APM和第三方物流代码。
有关如何组合这两种编程模型以实现异步涅盘的更多信息,请查看MSDN上.NET SDK的这一部分,标题为TPL and Traditional .NET Asynchronous Programming。
发布于 2011-03-07 06:30:35
您说得对,当您创建自己的线程池时,TPL确实删除了您所拥有的一些控制。但只有当你不想深入挖掘时,这才是正确的。TPL确实允许您创建长时间运行的任务,这些任务不是TPL线程池的一部分,可以很好地满足您的需求。这本出版的书是免费阅读的Parallel Programming with Microsoft .NET,它将让您更深入地了解如何使用第三方公共许可证。您始终可以选择给Paralle.For、Tasks和explicit参数分配多少线程。除此之外,如果你想要完全控制的话,你可以用你自己的TPL调度器替换它。
https://stackoverflow.com/questions/5213695
复制相似问题