用fluentd和elasticsearch实现实时数据同步

Question

我正在使用fluentd将数据从kafka同步到elascticsearch。但fluentd需要60秒才能将数据同步到elasticsearch。我想要实时数据同步。有没有我必须包括的配置参数。

我试过了

<source>
  @type kafka
  brokers localhost:9092
  topics xxx
</source>
<match xxx>
  @type elasticsearch
  scheme http
  port 9200
  <buffer tag>
    @type memory
    flush_thread_count 4
  </buffer>
</match>

Answer 1

我们使用flush_interval参数，如下所示：

  <buffer>
    flush_interval        5s
    flush_thread_count    4
  </buffer>