Logstash没有将完整数据从oracle加载到Elasticsearch

Question

我试图将甲骨文数据加载到elasticsearch中，在加入5个表之后，它的记录几乎有300 k。但是，在对logstash文件进行分析之后，elasticsearch中只有79511文档可用。

我试过两次，但结果是一样的。我在甲骨文中进行了交叉验证，并确信几乎有300k记录。

如果我使用stdout { codec => rubydebug }，那么它需要很长的时间来强制这个过程。

任何关于这个问题的想法。

请查找我的logstash配置文件(这里没有包含sql查询)。

input {
      jdbc {
        jdbc_driver_library => "D:\1SearchEngine\data\ojdbc8.jar"
        jdbc_driver_class => "Java::oracle.jdbc.OracleDriver"
        jdbc_connection_string => "jdbc:oracle:thin:@localhost:1525/demodb"     
        jdbc_user => "demo"
        jdbc_password => "1234567"
        jdbc_fetch_size => "50000"
        statement => "" 
        }
    }

    output {

        elasticsearch {
        hosts => ["localhost:9200"]
        index => "replacement_local101"
        document_id => "%{id}"
        }

    }

Answer 1

这是因为您没有为schedule指定配置，

此插件的输入可以根据特定的时间表定期运行。这个调度语法是由rufus-调度器驱动的。语法类似cron，带有一些特定于Rufus的扩展(例如，时区支持)。

默认情况下，它只运行一次，

默认情况下没有时间表。如果没有给出时间表，则语句只运行一次。

您需要提供schedule选项。例如，下面每秒钟运行一次，

schedule => "* * * * *"

您可以阅读更多关于这里的语法的信息。