Logstash:迁移后丢失的数据

Question

我一直在使用Logstash将自我托管的Elasticsearch中的一个索引迁移到。我们在自我托管的Elasticsearch中有大约1812个文档，但是在中，我们只有大约637个文档。一半的证件在移民后失踪。

我们的logstash配置文件

input {
 elasticsearch {
 hosts => ["https://staing-example.com:443"]
 user => "userName"
 password => "password"
 index => "testingindex"
 size => 100
 scroll => "1m"
 }
}

filter {

}

output {
 amazon_es {
 hosts => ["https://example.us-east-1.es.amazonaws.com:443"]
 region => "us-east-1"
 aws_access_key_id => "access_key_id"
 aws_secret_access_key => "access_key_id"
 index => "testingindex"
}
stdout{
  codec => rubydebug
  }
}

我们也尝试过其他一些索引，但它仍然只迁移了一半的文档。

Answer 1

确保通过在两边的索引上运行GET index/_count来比较苹果和苹果。

您可能会看到或多或少的文档，这取决于您查看的位置(Elasticsearch插件、Kibana、Cerebro等)，以及在计数中是否考虑到副本。

在您的示例中，本地环境中的副本比AWS Elasticsearch服务中的副本多，因此计算不同。