ElasticSearch服务拥有日志

Question

我按照ElasticSearch中描述的步骤在Ubuntu机器上安装了ELK ( https://www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-and-visualize-logs-on-ubuntu-14-04 + Kibana + Logstash)。

当使用/var/ log /syslog文件作为日志源时，所有操作都很好。如果我更改为另一个文件，则Kibana接口中不会显示任何数据。我试图调试应用程序，但没有在以下文件中找到有用的信息：

/var/log/elasticsearch

/var/log/logstash/logstash.log

/var/log/syslog

有人知道在哪里可以找到ElasticSearch、Logstash和Logstash转发器的详细日志记录，除了以前指定的文件之外？

ElasticSearch，Logstash和logstash-转发器在/var/log/elasticsearch；/var/log/logstash/logstash.log；/var/log/syslog之外输出它们的日志？

Answer 1

您可能希望在LogStash中设置一个处理程序来使用ElasticSearch的日志。我拼凑了一个模式来帮助解决这个问题(详见下文)。类似于：

input {
  file {
    type => "elasticsearch-log"
    path => ["/var/log/elasticsearch/*.log"]
    sincedb_path => "/opt/logstash/sincedb-access"
    discover_interval => 10
  }
}

filter {
  if [type] == "elasticsearch-log" {
    grok {
      match       => [ "message", "%{ELASTICSEARCHLOG}" ]
    }
  }
}

output {
  elasticsearch {
    host => "localhost"
  }
}

模式文件将位于/opt/logstash/patterns/elasticsearch中。

ELASTICSEARCHTIME \[%{TIMESTAMP_ISO8601:timestamp}\]
ELASTICSEARCHLEVEL \[%{LOGLEVEL:level}\s+\]
ELASTICSEARCHSERVICE \[%{DATA:service}\s+\]
ELASTICSEARCHVERSION \[%{DATA:version}\]
ELASTICSEARCHLOG %{ELASTICSEARCHTIME}%{ELASTICSEARCHLEVEL}%{ELASTICSEARCHSERVICE} %{ELASTICSEARCHVERSION} %{GREEDYDATA:mymessage}

Answer 2

这就是日志的位置，在日志中找不到关于elasticsearch中缺少条目的详细信息。

您可以执行以下操作以查看是否将日志传递到ES：

检查正在使用的其他日志源的权限，确保logstash具有读取这些文件的权限。

将此输出添加到logstash配置中：

output {
   stdout { codec => rubydebug }

从命令行运行logstash，看看是否可以看到日志被解析：

bin/logstash -f logstash.conf -l logstash.log -e

检查ES计数api，看看ES中的文档数量是否在增加：

curl -XGET 'localhost:9200/_cat/count?v'