我有一个由6个节点组成的弹性с搜索集群。每天创建5个索引(每个索引消耗大约10到250 it )我们现在有一个快照存储库(位于NFS共享上),每天都备份这些索引,但事实是,在一年内,这个快照存储库开始重达40 to,事实是,这些是我国商店两年来法律要求的支付日志,但是我们在NFS上没有太多的空间,当NFS共享上有一个bug,我们的快照存储库被破坏了,我们无法恢复它,然后我想改变备份过程,做一个每天都要写的剧本
但问题是,每次对新的快照存储库进行备份时,Elasticsearch都会对内容进行完全备份,我如何才能使elasticsearch只备份新的快照存储库的新索引呢?我听说过https://www.elastic.co/guide/en/cloud/current/ec-getting-started-profiles-hot-warm.html,是否有可能在最初的24小时内(用于备份)做一些索引很热的事情,如果它比白天更老,就会切换到温暖,这样就不会备份到新的快照存储库中了吗?我试图使用gzip压缩我的elasticsearch存储库文件夹,并得到了明显的压缩(从40 TB压缩到20 TB)
发布于 2021-09-13 11:54:54
首先,如果您使用相同的存储库,快照总是递增的,也就是说,不是每次都执行完整的备份。只有在第一次,所有的索引都被快照,然后只有差异被备份在每个新的快照操作。
每次体验完全备份的原因是每次创建一个新的快照存储库(第2点)。这是对资源的浪费,快照/还原还没有被设计成以这种方式使用。一个昨天被快照过的索引,自从上次快照被拍下来以后,再也不会被写入,今天不会再被快照了。这就是增量快照的全部要点。
因为快照是增量式的,所以只需要保留少量快照(比如最后50或100个快照)。例如,这就是在弹性云上实现的。
为了帮助您,您可以利用快照生命周期管理 (简称SLM)。因此,在NFS上创建存储库之后,您可以简单地使用设置快照策略来定义过期时间以及要保留的快照的最小和最大数量。这样,您就可以始终保持存储库的大小,即存储库的大小将非常接近集群的实际大小(稍微大一点,但不是大10倍)。
https://stackoverflow.com/questions/69130052
复制相似问题