拉长的问题:
当有更多阻塞线程而不是CPU核心时,线程数量和线程阻塞时间之间的平衡如何通过减少上下文切换开销来最大化CPU效率?
我有各种各样的IO设备,我需要控制在Windows 7上,有一个x64多核处理器: PCI设备,网络设备,保存到硬盘驱动器的东西,大量的数据被复制,.最常见的政策是:“在上面加一条线!”几十个线程之后,这开始感觉像是个坏主意。
我的核心都没有100%被使用,还有几个核心仍在闲置,但延迟出现在10-100毫秒的范围内,无法用IO阻塞或CPU密集使用来解释。其他进程似乎也不需要资源。我怀疑上下文切换开销。
我有很多可能的解决方案:
任何处理类似问题的案例研究都会受到很大的赞赏。
发布于 2011-05-31 08:17:32
首先,这些任务似乎应该使用异步I/O (最好是IO完成端口)来执行,而不是使用单独的线程。阻塞线程通常是做I/O的错误方式。
其次,阻塞线程不应影响上下文切换。调度程序必须处理所有活动线程,因此,让大量线程运行(而不是阻塞)可能会减缓上下文切换的速度。但是,只要大多数线程被阻塞,它们就不应该影响那些没有阻塞的线程。
发布于 2011-05-31 10:08:51
一些内核空闲的10-100毫秒:它本身并不是上下文切换的开销,因为一个交换机比这些延迟快一个数量级,即使有一个核心交换和缓存刷新。
异步I/O在这里没有多大帮助。实现ASIO的内核线程池也必须被调度/交换,尽管这比用户空间线程更快,因为Wagnerian循环较少。如果CPU加载成为一个问题,我肯定会去ASIO,但事实并非如此。
你不缺CPU,那它是什么?内存短缺吗?过多的分页肯定会导致很大的延迟。你的页面文件在哪里?我把我的车从C车道推到了另一个快速的SATA驱动器上。
PCI带宽?你里面有几张电视卡吗?
磁盘控制器冲洗活动-你有接近容量的SSD吗?对于无法解释的停顿来说,这是一个很好的选择。我得到了奇怪的暂停,即使我的128 G的SSD只有2/3满。
我从来没有遇到过与上下文交换时间相关的问题,我已经写了几十年的multiThreaded应用程序。Windows计划&合理地快速地将准备好的线程发送到内核。“几十条线”本身,即。),现在看看我的TaskManger/ performance,我已经加载了1213个线程,并且使用了大约6%的CPU,(在后台运行的应用程序,bitTorrent等等)。Firefox有30个线程,VLC媒体播放器27,我的测试应用程序23。写这篇文章一点问题都没有。
考虑到10到100 is的延迟问题,如果修改线程优先级和/或改变工作加载到线程上的方式能带来任何改进,我会感到惊讶--还有一些东西正在填充您的系统(您没有任何我编写的驱动程序,对吗?:)
perfmon提供了什么线索吗?
雷格斯·马丁
发布于 2011-05-31 08:35:21
我不认为有一个结论性的答案,这可能也取决于您的操作系统;一些线程处理比其他线程更好。尽管如此,10到100 ms范围内的延迟并不是由于上下文切换本身造成的(尽管它们可能是由于调度算法的特性所致)。我在Windows下的经验是,I/O效率很低,如果您正在执行I/O,任何类型的I/O都会阻塞。一个进程或线程的I/O最终会阻塞其他进程或线程。(例如,在Windows下,多个线程处理硬盘驱动器可能是没有意义的。您不能同时读写多个扇区,我的印象是,Windows并不像其他系统那样优化访问。)
关于你的确切问题:
“如果我在一个线程中将20 in保存到硬盘驱动器,在另一个线程中保存10 in,那么将其全部发布到相同的线程中不是更好吗?”:这取决于操作系统。通常,使用单独的线程不应该减少时间或延迟,根据其他活动和操作系统,可能会有改进。(例如,如果有几个磁盘请求,大多数OS将优化访问,重新排序请求以减少头部移动。)最简单的解决方案是同时尝试这两种方法,看看哪一种更适合您的系统。
“在多个硬盘驱动器的情况下如何工作?”:如果请求是针对不同的驱动器,操作系统应该能够并行地执行I/O操作。
关于增加一个或多个theads的优先级,它非常依赖于操作系统,但可能值得一试。除非在优先级较高的线程中使用了大量的CPU时间,否则不应该影响用户界面--记住,这些线程主要是为I/O阻塞的。
https://stackoverflow.com/questions/6184658
复制相似问题