ES和Cassandra上的CPU负载极高

Question

我们用ES 1.7.5和Cassandra 3.7在一个非常大的系统上设置了usergrid (2.1.0)：12台机器用于UG，9台机器用于cassandra，9台机器用于elasticsearch。所有(虚拟机)都有16个核心和32个千兆内存。然而，即使在3000个并发用户的情况下，es和c*服务器也会变得疯狂，cpu使用率达到100%。当es cpu达到峰值时，我们无法获取/roles集合，因此用户无法登录。当c* cpu达到峰值时，usergrid无法连接到c*，并简单地将所有http请求静音。

磁盘或网络上没有iwoait。

我们的应用程序依赖于usergrid查询，所以我们需要进行繁重的查询请求。但是，我没有想到在子系统上会出现这样的cpu峰值。

任何支持都是非常感谢的。

Answer 1

这花了近10天的时间，解决方案来得很艰难。经验教训，对于Elasticsearch：

1. 永远不会在Elasticsearch上使用G1GC！(直到它成为默认值)
2. 不惜一切代价避免使用来自usergrid的"contains“查询。
3. 总是监听from

我们仍然在Cassandra-Usergrid通信上遇到问题。每当节点出现故障(维护、更新等)时，usergrid客户端都会打印连接错误，在大约15次尝试后，它们会使所有通信静音。