首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >面向.NET的任务池系统

问面向.NET的任务池系统
EN

Stack Overflow用户
提问于 2012-04-04 20:06:30
回答 3查看 5.6K关注 0票数 3

我目前正在编写一种批量处理算法,用于从磁盘中检测音频中的音调。我已经加强了我的算法,使它几乎实时运行的串流数据。

理想情况下,我希望系统的工作速度比实时快,这样我就可以将实时数据交给它,并且在一个不太大的延迟之后生成音高轨迹数据。

现在让我印象深刻的是,数据的串行处理是我可以提供大量加速的地方。我运行在一个四核i7上(有8个硬件线程),所以我应该能够通过在多个块上扩展处理来显著提高速度。

目前,我做了以下工作:

  1. 磁盘外流数据
  2. 缓冲数据,直到我有了我想要分析的窗口大小。
  3. 处理数据窗口。
  4. 复制数据回n样例(其中n是我想要滑动的数量(这可以低到1ms回到一个80 is的窗口!)
  5. 冲洗并重复。

现在,我突然想到,一旦我有了一个窗口,我就可以轻松地将数据复制到给定的线程工作缓冲区中(以及提供将写入结果的内存位置)。通过这种方式,我可以有效地缓冲多达7个线程(让线程8打开以泵出数据)线程,然后线程池将处理这些数据。

当我尝试提交第8个音频窗口时,我希望池被阻塞,直到线程可用来处理数据等等。我的想法是让7个线程不断地处理数据。根据以前的经验,我预计这样做会加快大约5倍的速度。

过去,我在C++下编写了自己的基于任务的系统,可以很好地完成这项工作,但是这个应用程序是在C#下开发的。为了在C++下获得良好的并行性和低开销,我花费了大量的时间来构建一个好的无锁排队机制。

我更希望,在C#的领导下,会有人为我这样做而减轻痛苦。然而,我找不到任何似乎有用的东西。我看过System.Threading.ThreadPool,它似乎无法检查有多少线程正在运行。更别提管理费用似乎令人望而却步了。然后出现了一个大问题:我不能重用现有的预分配结构(这在我的处理过程中很重要),迫使我每次提交工作项时都要重新创建它。这有一个巨大的缺点,那就是我生成工作的速度超过了我处理它的速度,因此,我不仅浪费了大量的时间,设置了我真正不需要的结构和工作空间,而且我的内存使用也越来越失控。

然后我发现了System.Threading.Tasks,但这似乎也没有提供我想要的功能。

我想我可以通过互操作使用我的C++任务管理器,但我真的认为,在这个时代,已经有人设置了类似的东西。那我是不是漏掉了什么?或者有人能为我提供到这样一个任务管理引擎的链接?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2012-04-04 20:13:22

任务并行库是为您正在尝试解决的任务而设计和实现的!此外,您也可以对此过程进行流水线处理。

所以你必须确保:

票数 4
EN

Stack Overflow用户

发布于 2012-04-04 20:33:00

好吧,和往常一样,我建议使用ZeroMQ。它可以让你很容易地控制消费者的数量。

至于你的划痕区,第一,0.5GB的内存不是很多的这一天和年龄。我觉得我的手机有更多的内存,更不用说我的桌面了.如果您想在内存消耗上非常容易,只需在每个线程创建一个划痕垫区域,将它们全部放在一个池中,并让生产者在排队任务之前先进入擦伤垫区域,并附加到任务的该区域。当用户完成后,将划痕垫区域返回到池中。

票数 3
EN

Stack Overflow用户

发布于 2012-11-29 12:42:20

我会在这里使用任务并行数据流库。它的设计允许创建可以链接在一起的进程块,以及对并行度和阻塞语义的显式控制。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/10018469

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档