首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >仅备份热索引

问仅备份热索引
EN

Stack Overflow用户
提问于 2021-09-10 09:21:30
回答 1查看 445关注 0票数 1

我有一个由6个节点组成的弹性с搜索集群。每天创建5个索引(每个索引消耗大约10到250 it )我们现在有一个快照存储库(位于NFS共享上),每天都备份这些索引,但事实是,在一年内,这个快照存储库开始重达40 to,事实是,这些是我国商店两年来法律要求的支付日志,但是我们在NFS上没有太多的空间,当NFS共享上有一个bug,我们的快照存储库被破坏了,我们无法恢复它,然后我想改变备份过程,做一个每天都要写的剧本

  1. 在具有当前日期的NFS共享上创建一个新文件夹(logz-备份-年份-月-日)
  2. 将快照存储库注册到此文件夹
  3. 拍张快照
  4. 从elasticsearch中删除快照存储库
  5. 从文件夹中创建一个存档

但问题是,每次对新的快照存储库进行备份时,Elasticsearch都会对内容进行完全备份,我如何才能使elasticsearch只备份新的快照存储库的新索引呢?我听说过https://www.elastic.co/guide/en/cloud/current/ec-getting-started-profiles-hot-warm.html,是否有可能在最初的24小时内(用于备份)做一些索引很热的事情,如果它比白天更老,就会切换到温暖,这样就不会备份到新的快照存储库中了吗?我试图使用gzip压缩我的elasticsearch存储库文件夹,并得到了明显的压缩(从40 TB压缩到20 TB)

EN

回答 1

Stack Overflow用户

发布于 2021-09-13 11:54:54

首先,如果您使用相同的存储库,快照总是递增的,也就是说,不是每次都执行完整的备份。只有在第一次,所有的索引都被快照,然后只有差异被备份在每个新的快照操作。

每次体验完全备份的原因是每次创建一个新的快照存储库(第2点)。这是对资源的浪费,快照/还原还没有被设计成以这种方式使用。一个昨天被快照过的索引,自从上次快照被拍下来以后,再也不会被写入,今天不会再被快照了。这就是增量快照的全部要点。

因为快照是增量式的,所以只需要保留少量快照(比如最后50或100个快照)。例如,这就是在弹性云上实现的。

为了帮助您,您可以利用快照生命周期管理 (简称SLM)。因此,在NFS上创建存储库之后,您可以简单地使用设置快照策略来定义过期时间以及要保留的快照的最小和最大数量。这样,您就可以始终保持存储库的大小,即存储库的大小将非常接近集群的实际大小(稍微大一点,但不是大10倍)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69130052

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档