ES到Crate数据传输

Question

我想将数据从ES (1.0.0)迁移到Crate (目前可用的0.26.0版本)来检查它，我怎么做呢？我应该如何处理索引，ES索引是否适合Crate？

人们可能会想到几个流动：

1. 平滑过渡，例如，当我与ES + Crate节点进行混合集群时，至少有一个副本，然后逐个杀死ES节点。
2. 我们正在通过'elasticsearch-cloud-aws‘插件进行备份，是否可以“恢复”这个快照，但是使用Crate节点而不是本地ES节点呢？

还有没有其他可以传输大量数据的变体，比如1TB？

谢谢。

Answer 1

Crate从0.24.0开始使用ES 1.0.1，因此lucene指数是相容的。

这意味着您描述的“平稳过渡”流程应该可以工作。(但我还没试过)。

但是，只要集群中有非机箱节点，机箱上的SQL查询就无法工作，因为普通ES节点不知道如何处理请求。

还有一些你应该注意的事情，因为它可能会带来麻烦：

Crate用0.25.0引入了显式数组类型。这意味着，如果使用例如create table test (id integer ...)创建一个新表，id字段将使用不久前添加到lucene中的新doc_values字段格式。如果要使用数组，则必须使用SQL创建表(具有类型定义，如array(integer) )。

如果您试图查询使用elasticsearch插入的数据，如果字段包含数组，但是缺少模式定义中的声明，您可能会得到奇怪的结果，甚至会遇到错误。

希望这能帮点忙。不幸的是，我不能给你一个关于elasticsearch-cloud-aws插件的答案，但是也许其他人可以。