首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在处理大量数据时减少CPU使用率

问在处理大量数据时减少CPU使用率
EN

Stack Overflow用户
提问于 2017-09-14 21:15:51
回答 2查看 726关注 0票数 0

我正在写一个实时应用程序,它每秒接收大约2000条消息,这些消息在队列中被推送。我已经编写了一个后台线程来处理队列中的消息。

代码语言:javascript
复制
private void ProcessSocketMessage()
{
    while (!this.shouldStopProcessing)
    {
        while (this.messageQueue.Count > 0)
        {
            string message;
            bool result = this.messageQueue.TryDequeue(out message);
            if (result)
            {
               // Process the string and do some other stuff
               // Like updating the received message in a datagrid  
            }
        }
    }
}

上面代码的问题是,它使用了大约12%的CPU(2.40 GHz双核处理器)的大量处理能力。

我有4块类似上面的块,字面上占用了50 %的CPU计算能力。在上面的代码中有什么可以优化的吗?

在循环结束前添加100毫秒的线程睡眠似乎可以将性能提高50%。但是我是不是做错了什么?

EN

回答 2

Stack Overflow用户

发布于 2017-09-14 21:43:39

此功能已在the Dataflow library's ActionBlock类中提供。ActionBlock有一个输入缓冲区,它接收消息并通过为每个消息调用一个操作来处理它们。默认情况下,一次只处理一条消息。它不使用忙碌等待。

代码语言:javascript
复制
void MyActualProcessingMethod(string it)
{
  // Process the string and do some other stuff
}

var myBlock = new ActionBlock<string>( someString =>MyActualProcessingMethod(someString));

//Simulate a lot of messages
for(int i=0;i<100000;i++)
{
    myBlock.Post(someMessage);
}

当消息完成和/或我们不想要更多消息时,我们通过拒绝任何新消息并处理输入缓冲区中剩余的任何内容来命令它完成:

代码语言:javascript
复制
myBlock.Complete();

在我们完成之前,我们实际上需要等待代码块完成对剩余部分的处理:

代码语言:javascript
复制
await myBlock.Completion;

所有数据流块都可以接受来自多个客户端的消息。

块也可以组合在一起。一个块的输出可以提供给另一个块。TransformBlock接受将输入转换为输出的函数。

通常,每个块都使用线程池中的任务。默认情况下,一个块一次只处理一条消息。不同的块运行在不同的任务上,甚至不同的TaskSchedulers上。这样,您可以让一个块执行一些繁重的处理,并将结果推送到另一个更新UI的块。

代码语言:javascript
复制
string MyActualProcessingMethod(string it)
{
  // Process the string and do some other stuff
  // and send a progress message downstream
  return SomeProgressMessage;
}

void UpdateTheUI(string msg)
{
  statusBar1.Text = msg;
}

var myProcessingBlock = new TransformBlock<string,string>(msg =>MyActualProcessingMethod(msg));

UI将由运行在UI线程上的另一个块更新。这是通过ExecutionDataflowBlockOptions表示的:

代码语言:javascript
复制
var runOnUI=new ExecutionDataflowBlockOptions { 
                  TaskScheduler = TaskScheduler.FromCurrentSynchronizationContext() 
            };
var myUpdater = new ActionBlock<string>(msg => UpdateTheUI(msg),runOnUI);

//Pass progress messages from the processor to the updater
myProcessingBlock.LinkTo(myUpdater,new DataflowLinkOptions { PropagateCompletion = true });

将消息发布到管道的第一个块的代码不会更改:

代码语言:javascript
复制
//Simulate a lot of messages
for(int i=0;i<100000;i++)
{
    myProcessingBlock.Post(someMessage);
}


//We are finished, tell the block to process any leftover messages
myProcessingBlock.Complete();

在这种情况下,一旦procesor完成,它将通知流水线中的下一个块完成。我们还需要等待最后一个块的完成

代码语言:javascript
复制
//Wait for the block to finish
await myUpdater.Completion;

让第一个块并行工作怎么样?我们可以指定最多10个任务通过它的执行选项来处理输入消息:

代码语言:javascript
复制
var dopOptions = new ExecutionDataflowBlockOptions {MaxDegreeOfParallelism = 10};
var myProcessingBlock = new TransformBlock<string,string>(msg =>MyActualProcessingMethod(msg),dopOptions);

处理器将并行处理多达10条消息,但更新器仍将在UI线程中逐个处理它们。

票数 6
EN

Stack Overflow用户

发布于 2017-09-14 21:22:04

最好的办法是使用配置文件来监控正在运行的应用程序,并确定CPU将时间花在哪里。

但是,如果this.messageQueue.Count为0,则看起来可能会出现忙等待循环。至少,如果队列是空的,我建议添加一个小的暂停,以允许消息进入队列。否则,您的CPU只会花时间一遍又一遍地检查队列。

如果时间花在将消息出队上,您可能需要考虑一次处理多个消息(如果有多个消息可用),假设您的队列允许您在单个调用中弹出队列中的多个消息。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46220207

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档