从mysql导入数据时出错-管道已终止

Question

​

​

通过kibana Data将数据从mysql导入到弹性搜索-忽略'pipelines.yml‘文件，因为指定了模块或命令行选项

并且管道已终止{:pipeline_id=>"main"，:thread=>"#"}

还有我的conf

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}


output{
   stdout { codec => json_lines }
  elasticsearch {
 "hosts" => "localhost:9200"
  "index" => "test-migrate"
  "document_type" => "data"
  }
}

有什么解决方案吗？

Answer 1

默认情况下，如果在不使用调度的情况下运行单个查询，则在处理查询后将终止logstash管道。您需要在jdbc输入中启用调度以定期运行它，如下所示：

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    schedule => "0 * * * *"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}

这将在每天每小时的第0分钟执行您对的查询。调度的语法非常类似于cron。有关语法和更多详细信息，请查看here。