如何配置在上备份elasticsearch数据的结构？

Question

我在GCE (Google )上配置了带有两个节点的e elasticsearch环境，因此两个VM和我需要为此创建一个备份策略。我最初认为可以使用elasticsearch快照API将所有数据备份到给定的存储中，因为API支持几种存储快照的方法。

• 共享文件系统，如NAS
• 亚马逊S3
• HDFS (Hadoop分布式文件系统)
• 蔚蓝云

我试图使用共享文件系统选项，但它要求在节点之间共享存储位置。我能在GCE上做这件事吗？

curl -XPUT http://x.x.x.x:9200/_snapshot/backup -d '{
    "type": "fs",
    "settings": {
        "compress" : true,
        "location": "/elasticsearch/backup"
    }

}‘

nested: RepositoryVerificationException[[backup] store location [/elasticsearch/backup] is not shared between node

我知道有一个用来存储备份的用于弹性搜索的AWS插件。谷歌云存储有什么插件吗？这是可能的吗？

如果上述任何一种选择都不可能，是否还有其他推荐的策略来支持我的数据？

Answer 1

Elasticsearch现在有插件，所以这是本机支持的。

Answer 2

您可以通过互操作性的方式使用Google的S3插件。有关更多细节，请参见此页面。

或者，您可以在文件系统中创建一个正常的备份，然后使用gsutil将其上传到云存储中。

Answer 3

我在Google上的ES集群(5个节点)也有同样的问题。我们不能像上文提到的那样在实际的磁盘上使用本地备份，因为在我的例子中，并非每个节点都有所有的数据。

在我看来，唯一的方法是创建一个具有大磁盘的小型机器，并将该磁盘作为共享驱动器安装在我在同一路径上的所有5个ES节点上，这样我们就可以使用“共享文件系统”选项。