将数据从mysql同步到弹性搜索的最佳方法是什么？

Question

我已经安装了ES2.2，并为Elasticsearch elasticsearch-jdbc-2.2.0.0安装了JDBC导入程序，并且能够插入数据，但没有通过mysql中的更改来更新ES。mysql与ES的同步。我该怎么做同步？我执行了下面的shell脚本一次，数据被正确地插入，但是调度程序强制工作。它并不是每时每刻都在执行以捕获mysql( executing表)中的任何更改。我的剧本有什么问题吗？或者有什么解决办法吗？

DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/bin
lib=${DIR}/lib
echo $lib
echo $bin

echo '{
"type" : "jdbc",
"autocommit" : true,
"schedule" : "0 0-59 0-23 ? * *",
"jdbc" : {
"driver": "com.mysql.jdbc.Driver",
"url" : "jdbc:mysql://XXX:3306/blahblah",
"user" : "abc",
"password" : "xyz",
"sql" : "select * from schemes",
"elasticsearch" : {
"cluster" : "mycluster",
"host" : "localhost",
"port" : 9300
},
"max_bulk_actions" : 20000,
"max_concurrent_bulk_requests" : 10,
"index" : "movies",
"type":"scheme"
}
}
' | java -cp "${lib}/*" -Dlog4j.configurationFile=${bin}/log4j2.xml org.xbib.tools.Runner org.xbib.tools.JDBCImporter

Answer 1

我建议使用Logstash jdbc插件将MySQL数据同步到Elasticsearch。

从评论作为对手询问如何同步已删除的记录从MySQL到弹性搜索

可能是将已删除的记录从MySQL同步到Elasticsearch的其他一些有效方法:)，但我在这里分享我所做的事情。

步骤1:让我们以模式表为例。添加一列以维护该架构的状态。类似于status = 0 (默认)和status = 1 (用于删除)。还有一列用于updated_date。删除任何记录时，将status=1和updated_date更改为当前日期。

步骤2:

我们不需要每次都同步整个数据。一次索引完成数据，然后更改mysql查询，从最后24小时或任何适合用例的时间间隔中获取记录。

步骤3:更改查询以仅从最后24小时获取数据

 select * from schemes where (updated_date >= FROM_UNIXTIME(UNIX_TIMESTAMP(?)-86400,"%Y-%m-%d"))

现在，在您的Elasticsearch索引中，您已删除的数据状态将更改为status=1。

这样，您就可以查询活动记录，例如

{
    "query": {
        "filtered": {
           "filter": {
               "bool": {
                   "must": [
                      {
                          "term": {
                             "status": 1
                          }
                      }
                   ]
               }
           }
        }
    }
}