搜索thread_pool以查找始终最大的特定节点

Question

我有一个有6个节点的elasticsearch集群。堆大小设置为50‘t。(我知道推荐的大小小于32，但由于某种原因，它已经设置为50’t，我不知道)。现在我看到很多来自搜索thread_pool的拒绝。

这是我当前的搜索thread_pool：

node_name               name   active rejected  completed
1105-IDC.node          search      0 19295154 1741362188
1108-IDC.node          search      0  3362344 1660241184
1103-IDC.node          search     49 28763055 1695435484
1102-IDC.node          search      0  7715608 1734602881
1106-IDC.node          search      0 14484381 1840694326
1107-IDC.node          search     49 22470219 1641504395

我注意到两个节点总是有最大活动线程(1103-IDC节点和1107-IDC节点)。即使其他节点也有拒绝，这些节点也是最高的。硬件与其他节点相似。这是什么原因？这可能是因为他们有什么特别的碎片，其中的点击率更高吗？如果是，如何找到它们？

此外，年轻的堆在活动线程总是最大的节点上占用超过70 is (有时大约200 is )。下面是GC日志中的一些行：

[2020-10-27T04:32:14.380+0000][53678][gc             ] GC(6768757) Pause Young (Allocation Failure) 27884M->26366M(51008M) 196.226ms
[2020-10-27T04:32:26.206+0000][53678][gc,start       ] GC(6768758) Pause Young (Allocation Failure)
[2020-10-27T04:32:26.313+0000][53678][gc             ] GC(6768758) Pause Young (Allocation Failure) 27897M->26444M(51008M) 107.850ms
[2020-10-27T04:32:35.466+0000][53678][gc,start       ] GC(6768759) Pause Young (Allocation Failure)
[2020-10-27T04:32:35.574+0000][53678][gc             ] GC(6768759) Pause Young (Allocation Failure) 27975M->26444M(51008M) 108.923ms
[2020-10-27T04:32:40.993+0000][53678][gc,start       ] GC(6768760) Pause Young (Allocation Failure)
[2020-10-27T04:32:41.077+0000][53678][gc             ] GC(6768760) Pause Young (Allocation Failure) 27975M->26427M(51008M) 84.411ms
[2020-10-27T04:32:45.132+0000][53678][gc,start       ] GC(6768761) Pause Young (Allocation Failure)
[2020-10-27T04:32:45.200+0000][53678][gc             ] GC(6768761) Pause Young (Allocation Failure) 27958M->26471M(51008M) 68.105ms
[2020-10-27T04:32:46.984+0000][53678][gc,start       ] GC(6768762) Pause Young (Allocation Failure)
[2020-10-27T04:32:47.046+0000][53678][gc             ] GC(6768762) Pause Young (Allocation Failure) 28001M->26497M(51008M) 62.678ms
[2020-10-27T04:32:56.641+0000][53678][gc,start       ] GC(6768763) Pause Young (Allocation Failure)
[2020-10-27T04:32:56.719+0000][53678][gc             ] GC(6768763) Pause Young (Allocation Failure) 28027M->26484M(51008M) 77.596ms
[2020-10-27T04:33:29.488+0000][53678][gc,start       ] GC(6768764) Pause Young (Allocation Failure)
[2020-10-27T04:33:29.740+0000][53678][gc             ] GC(6768764) Pause Young (Allocation Failure) 28015M->26516M(51008M) 251.447ms

Answer 1

需要注意的是，如果你从elasticsearch线程池cat API得到这些数据，那么它只显示时间点数据，而不显示过去1小时、6小时、1天、1周的历史数据。

被拒绝和完成的是节点上次重新启动时的状态，所以当我们试图找出一些ES节点是否由于坏的/不平衡的碎片配置而成为热点时，这也不是很有帮助。

，在这里，我们有两件非常重要的事情要找出

1. 通过查看数据节点上的平均活动请求和拒绝请求，确保我们知道集群中的实际热点节点的时间范围(您只需检查峰值时间)。
2. 一旦知道了热点节点，查看分配给它们的碎片，并将其与其他节点碎片进行比较，很少有度量来检查是，的碎片数、碎片接收的流量更多、碎片接收最慢的查询等--再一次，您必须通过查看各种ES的度量和API来找出它们，这可能非常耗时，需要大量的内部ES知识。