AWS ElasticsearchService:自动快照运行超过20天

Question

在几天的时间里，我们在ElasticSearch查询中遇到了很多失败。当我监视集群运行状况时，CPU/JVM内存利用率很高(几乎98%)。在调试问题时，我发现最后一次自动快照是I IN_PROGRESS状态超过20天，我怀疑这是根本原因。但我不确定长快照的原因是什么，并且无法停止/删除该快照。当我使用带有aws签名的postman在存储库上尝试http请求时，我得到了带有Your request is not allowed消息的Your request is not allowed错误。

有人能帮我理解长期运行的快照问题以及如何解决它吗？

提前谢谢。

Answer 1

这是典型的elasticsearch.Stuck快照中卡住快照的情况，当主节点和数据节点对shard的快照状态不同步时就会发生。这通常发生在集群变红或某个节点在高JVM压力下突然退出集群时。

较高的CPU/JVM内存利用率通常是，而不是，这是由于快照卡住造成的。大多数情况下，快照由于JVM利用率高而陷入IN_PROGRESS状态。为了提高elasticsearch集群的性能，您应该尝试将JVM保持在80%以下。扩大规模是降低JVM压力的一种选择。

用户不允许访问AWS Elasticsearch上的自动快照。要解决IN_PROGRESS状态下的卡住快照问题，您应该使用AWS客户支持。