非堆CMS Perm Gen上的DSE垃圾收集花了很长时间

Question

我在Datastax-enterprise的Cassandra/Solr包中经历了长时间的GC暂停(> 10秒)。在监视了几天之后，我发现只有当CMS Perm的GC发生时才会发生这种情况，如图表所示。当PermGen GC发生时，长GC发生在图表的每一个拐点。每次Perm启动时，都会有一个长时间的暂停，导致客户会话超时！

gc.png

堆GC是正常的，没有暂停，只有和总是得到长暂停在非堆Perm，这总是发生在服务器在非高峰时间。

DSE使用的JVM选项：

-ea -javaagent:/usr/local/dse/resources/cassandra/lib/jamm-0.2.5.jar 
-XX:+UseThreadPriorities -XX:ThreadPriorityPolicy=42
-Xms16384M -Xmx16384M -Xmn5461M -XX:+HeapDumpOnOutOfMemoryError 
-Xss180k -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled 
-XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=1
-XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly 
-Djava.net.preferIPv4Stack=true -Dcassandra.load_ring_state=false 
-Dcassandra-foreground=yes -Dsearch-service=true
-Dtomcat.logs=/var/log/dse/tomcat -DName=SI2_DSE
-Ddse.solr.data.dir=/data/solrIndexRamDisk
-Djava.library.path=/usr/local/dse/resources/hadoop/native/Linux-amd64-64/lib

JVM信息

• 虚拟机:Java HotSpot(TM) 64位服务器VM 20.12-b01版本
• 供应商:Sun Microsystems Inc.
• JIT编译器:热点64位分层编译器

堆信息

• 当前堆大小:10,247,153千字节
• 最大堆大小:16,218,048千字节
• 已提交内存:16,218,048千字节
• 挂起的终结:转接{0}对象

VM服务器信息

• 操作系统:Linux2.6.32-279.1.1.el6.x86_64
• 体系结构:amd64 64
• 处理器数量:32
• 提交的虚拟内存:39,845,596千字节
• 总物理内存:99,018,824千字节
• 自由物理内存:58,184,572千字节
• 总交换空间:4,194,296千字节
• 自由交换空间:4,194,296千字节

Answer 1

如果您可以使用直接Solr，您可以尝试Heliosearch，它试图解决GC暂停使用堆外数据的问题。

http://heliosearch.org/off-heap-filters/

Answer 2

使用-XX:+CMSClassUnloadingEnabled，它允许CMS收集器在oldgen期间扫描permgen，并卸载不再使用的类。链接：http://blog.redfin.com/devblog/2012/06/cmsclassunloadingenabled-at-redfin.html#.UwWeO4XqPK0

使用100或200 MB大小进行烫发，而不是使用60 MB。

试试看，如果它解决了你的问题，你可以分享它。