为了加入目的,我想将elasticsearch集群的内容复制到我的数据湖中。目前,我正在做这个购买,每小时扫描整个索引,并从他们构建一套新的宴会厅。当正在对进行抓取时,这个过程是缓慢的、昂贵的,而且对集群来说也很困难。
我假设elasticsearch更容易创建快照,然后让数十个客户机并行进行扫描调用。因此,我想对索引做一个快照,将它水平地划分给许多工人,让这些工人生产宴会厅。
问题是,我的集群是由aws的elasticsearch服务托管的,它不提供明文快照。我不知道如何在不将其加载到另一个elasticsearch集群的情况下读取标准快照格式。我希望能够在水平缩放工作池中读取轻量级python或java进程中的快照。
是否可以读取elasticsearch快照而不将其加载到elasticsearch中?
发布于 2019-05-17 05:31:28
es快照,读取必须加载数据,还可以将数据文件复制到新es的数据路径,es可以自动加载数据
PUT _snapshot/my_backup
{
"type": "fs",
"settings": {
"location": "/mount/backups/my_backup"
}
}https://stackoverflow.com/questions/56172122
复制相似问题