我们的服务器具有35 E5内存和英特尔®至强®E5-1620 0@3.60 CPU×8 CPU。我正在运行一个用akka演员设计的多线程程序,并用scala编写。在节目中,有4个有任务的演员:
1)使用Scala的BufferedSource和迭代器延迟读取文件,
2)标记化句子,
3)计算给定窗口大小的单词和双词词频,并将它们放入映射(一个映射用于单词串,Int,一个映射用于元组单词[WordTuple,Int],
4)将返回的hasmap合并为一个hashmap,当所有行都从文件中读取并将其写入文件时。
我的自定义jvm设置如下:
-Xms34g
-Xmx34g
-XX:ReservedCodeCacheSize=240m
-XX:+UseParallelGC
-XX:ParallelGCThreads=4
-XX:NewSize=12g
-XX:SoftRefLRUPolicyMSPerMB=50
-ea
-Dsun.io.useCanonCaches=false
-Djava.net.preferIPv4Stack=true
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-Dawt.useSystemAAFontSettings=lcd
-Dsun.java2d.renderer=sun.java2d.marlin.MarlinRenderingEngine
-verbose:gc
-XX:+PrintGCDetails
-Xloggc:gc.log
我的application.conf如下:
systemParameters {
linesPerActor = 5
windowSize = 6
threadPoolSize = 5
}
akka.actor.deployment {
/wordTokenizerRouter {
router = round-robin-pool
nr-of-instances = 5
}
/frequencyCalculatorRouter {
router = round-robin-pool
nr-of-instances = 5
}
}问题是:
我正在处理一个15 am大小的文本文件。程序开始工作,过了一段时间,比方说2个小时,那些标记化,计算操作几乎不工作,没有操作可以执行。耗时300毫秒的操作从100000秒开始。但是所有处理器的cpu使用率都是%100。我曾尝试使用jvisualvm对其进行motinor操作,但采样器无法在如此高的cpu使用率下工作,因此我无法确定哪个进程的cpu使用率为%100。我从jvisualvm检查gc活动,大多数时间它使用了大约%10的cpu。那么,我的程序可能有什么问题,哪个进程可能正在使用所有的cpu?
当程序中的操作停止但cpu使用率为%100时,来自jvisualvm的一些屏幕截图如下:
Garbage collector status screenshot
希望我已经解释清楚了。提前感谢你的回答。
发布于 2017-04-26 21:34:59
我会调查几个领域。
如果它将时间花在垃圾收集上。我会获取一个堆转储,并分析哪些内存被占用。您还可以在VisualVm中的Monitor选项卡中获取堆转储,并在那里进行粗略的分析。
https://stackoverflow.com/questions/43626679
复制相似问题