将旧数据从Elasticsearch归档到Google云存储

Question

我在Google Compute Instance中安装了一个elasticsearch服务器。每分钟都有大量数据被摄取，下面的磁盘很快就会被填满。

我知道我们可以增加磁盘的大小，但这将花费大量的成本来存储长期数据。

我们需要在Elasticsearch服务器(Compute engine disk)中存储90天的数据，并将超过90天(直到7年)的数据存储在Google Cloud Storage Buckets中。较旧的数据应该是可检索的，以防以后需要分析。

我知道的一种方法是频繁拍摄快照，并使用Curator从Elasticsearch服务器中删除超过90天的索引。这样，我可以保持磁盘空闲，并最大限度地减少存储成本。

有没有其他方法可以在不手动自动化上述想法的情况下完成这项工作？

例如，Elasticsearch提供了一些开箱即用的功能，它可以将超过90天的数据归档，并将数据文件保存在磁盘中，然后我们可以手动将该文件从磁盘移动到Google Cloud Storage。

Answer 1

没有其他方法，要备份您需要使用snapshot/restore应用程序接口的数据，这是唯一安全可靠的选择。

有一个使用google cloud storage作为存储库的插件。

如果您使用的是具有基本许可证的版本7.5+和Kibana，您可以直接从Kibana interface配置快照，如果您使用的是较旧的版本或没有Kibana，您将需要依赖于crontab调度器运行的Curator或自定义脚本。

虽然您可以复制数据目录，但每次要复制数据时，您都需要停止整个群集，而要恢复它，您还需要每次从头开始创建一个新群集，这是大量的工作，当您拥有快照/恢复API时，这是不切实际的。

Answer 2

查看快照生命周期管理和索引生命周期管理。它们具有Basic许可证。