删除弹性搜索河插件中未更新的记录

Question

在elastic search river中，如果我在mysql中删除了一条记录，它仍然会显示在索引中。我也启用了自动提交。如何使mysql和elastic搜索同步，以及如何使elastic中的增量导入？

   {
"type" : "jdbc",
"jdbc" : {
    "driver" : "com.mysql.jdbc.Driver",
    "url" : "jdbc:mysql://localhost:3306/testrivet",
    "user" : "root",
    "password" : "Gemini*123",
    "sql" : [
                        { 
                             "statement" : "select *,empid as _id from empdata"

                        }
       ],
    "strategy" : "simple",
 "schedule" : "0 0-59 0-23 ? * *",
 "autocommit" : true,
 "metrics": {enabled:true}
    },
    "index" : {
   "autocommit":true
    }
}

Answer 1

实际上，如果从数据库中删除了一条记录，那么JDBC river将无法再检索它，以便在ES中删除相应的记录。

另一种方法是通过设置一个标志(即一个新的布尔列)从数据库中“软删除”记录。当记录处于活动状态时，该标志将为true，而当记录被删除时，该标志将为false。这样，当您的导入过程运行时，您将获得所有记录，并且根据该标志，您知道必须从Elasticsearch中删除文档。

还有其他方法，但它们涉及到在混合中添加另一个组件，所以如果这样做可以做到这一点，我建议这样做。