如何使用filebeat读取json文件并通过logstash将其发送到elasticsearch

Question

这是我的json日志文件。我正在尝试将文件存储到我的elastic-Search中，通过我的日志。

{"message":"IM: Orchestration","level":"info"}
{"message":"Investment Management","level":"info"}

这是我的filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
   - D:/Development_Avecto/test-log/tn-logs/im.log
  json.keys_under_root: true
  json.add_error_key: true
processors:
 - decode_json_fields:
     fields: ["message"]
output.logstash:
  hosts: ["localhost:5044"]

input{
    beats {
        port => "5044"
    }
}

filter {
    json {
      source => "message"
    }   
}   

output{
    elasticsearch{
        hosts => ["localhost:9200"]
        index => "data"
    }
}

在弹性搜索中无法查看输出。找不到错误所在。文件节拍日志

2019-06-18T11:30:03.448+0530信息注册器/注册器.go:134从D:\Development_Avecto\filebeat-6.6.2-windows-x86_64\data\registry加载注册器数据2019-06-18T11:30:03.448+0530信息注册器/注册器.go:141个状态从注册器加载: 10 2019-06-18T11:30:03.448+0530 WARN beater/filebeat.go:367 Filebeat无法加载配置模块的摄取节点管道，因为未配置/启用Elasticsearch输出。如果您已经加载了注入节点管道或正在使用Logstash管道，则可以忽略此警告。16965758110699470044 -06-18T11:30:03.448+0530info crawler/crawler.go:72加载输入:12019-06-18T11:30:03.448+0530 INFO log/input.go:138已配置路径: D:\Development_Avecto\test-log\tn-logs\im.log 2019-06-18T11:30:03.448+0530 INFO input/input.go:114启动输入类型: log；ID: 2019-06-18T11:30:03.449+0530 INFO crawler/crawler.go:106加载和启动输入完成。开启输入:12019-06-18T11:30:34.842+0530信息监控日志/log.go:最近30s内144个非零指标{“监控”：{“指标”：{“节拍”：{“cpu”：{“系统”：{“ticks”：312，"time":{"ms":312}}，"total":{"ticks":390，"time":{"ms":390}，"value":390}，"user":{"ticks":78，“time”：{“ms”：78}，"handles":{"open":213}，"info":{"ephemeral_id":"66983518-39e6-461c-886d-a1f99da6631d"，“正常运行时间”：{“ms”：30522}}，"memstats":{"gc_next":4194304，"memory_alloc":2963720，"memory_total":4359488，"rss":22421504}}，“文件节拍”：{“events”：{“added”：1，"done":1}，“收集器”：{“open_files”：0，“运行”：0}}，“libbeat”：{“配置”：{“模块”：{“运行”：0}}，“输出”：{“类型”：“日志存储”}，“流水线”：{“客户端”：1，“事件”：{“活动”：0，“已筛选”：1，“总计”：1}}，“注册器”：{“状态”：{“当前”：10，“更新”：1}}，“写入数”：{“成功”：1，“总计”：1}}，“系统”：{“cpu”：{“核心数”：4}2

Answer 1

https://www.elastic.co/guide/en/ecs-logging/dotnet/master/setup.html

检查页面底部的步骤3，了解需要放入filebeat.yaml文件中的配置：

filebeat.inputs:
- type: log
  paths: /path/to/logs.json
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
  json.expand_keys: true