首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何让fluentd / elasticsearch将来自kubernetes pod的“日志”key_name解析为json?

问如何让fluentd / elasticsearch将来自kubernetes pod的“日志”key_name解析为json?
EN

Stack Overflow用户
提问于 2020-01-17 18:38:42
回答 1查看 2.8K关注 0票数 1

我在尝试从k8s集群中的fluentd获取日志到elasticsearch时遇到了问题。

我有几个web应用程序将它们的日志输出为json。使用一个简单的本地设置和docker容器,我可以获得弹性来正确地读取和解析日志。以下是kibana中显示的本地json的示例:

代码语言:javascript
复制
{
  "_index": "logstash-2020.01.17",
  "_type": "fluentd",
  "_id": "S620sm8B2LEvFR841ylg",
  "_version": 1,
  "_score": null,
  "_source": {
    "log": {
      "@timestamp": "2020-01-17T08:53:03.066290",
      "caller": "StaticFileHelper.py::get",
      "data": {
        "python.thread": "Thread-1[{record.thread}]",
        "python.lineno": 45,
        "python.filename": "StaticFileHelper.py",
        "python.logger_name": "root",
        "python.module": "StaticFileHelper",
        "python.funcName": "get",
        "python.pid": 11239
      },
      "message": "application/javascript",
      "level": "INFO"
    },
    "@timestamp": "2020-01-17T08:53:03.000000000+00:00"
  },
  "fields": {
    "@timestamp": [
      "2020-01-17T08:53:03.000Z"
    ],
    "log.@timestamp": [
      "2020-01-17T08:53:03.066Z"
    ]
  },
  "sort": [
    1579251183000
  ]
}

在索引模式下,我可以看到正确的映射。当我在日志记录输出中引入新字段时,映射就会更新。此处的输出示例:

代码语言:javascript
复制
log.@timestamp: date
log.caller: string
log.caller.keyword: string
log.data.python.filename: string
log.data.python.filename.keyword: string
log.data.python.funcName :string

在集群中,"log“字段没有正确解析:

代码语言:javascript
复制
{
  "_index": "logstash-2020.01.17",
  "_type": "fluentd",
  "_id": "atUDs28BFgXM_nqQvYUY",
  "_version": 1,
  "_score": null,
  "_source": {
    "log": "{'@timestamp': '2020-01-17T10:19:21.775339', 'caller': 'RequestLoggingManager.py::print_request_id', 'data': {'python.thread': 'MainThread[{record.thread}]', 'python.lineno': 28, 'python.filename': 'RequestLoggingManager.py', 'python.logger_name': 'root', 'python.module': 'RequestLoggingManager', 'python.funcName': 'print_request_id', 'request_id': '1579256361-1494-XYyVj', 'python.pid': 8}, 'message': 'request: \"1579256361-1497-JUeYF\" is about to enter \"get_settings\"', 'level': 'INFO'}\n",
    "stream": "stderr",
    "docker": {
      "container_id": "fc5b0d5b0aa4008961b18dfe93c4e04b2cfbde0f7ff072dc702c55823baba3a4"
    },
    "kubernetes": {
      "container_name": "cms",
      "namespace_name": "default",
      "pod_name": "cms-68c4b49657-b88hs",
      "container_image": "HIDDEN",
      "container_image_id": "HIDDEN",
      "pod_id": "ffc6a681-390b-11ea-bcac-42010a8000be",
      "labels": {
        "app": "cms",
        "pod-template-hash": "68c4b49657",
        "version": "1.0.0"
      },
      "host": "HIDDEN",
      "master_url": "https://10.0.0.1:443/api",
      "namespace_id": "1ede7315-14fa-11ea-95c1-42010a80010f"
    },
    "@timestamp": "2020-01-17T10:19:21.776876369+00:00",
    "tag": "kubernetes.var.log.containers.cms-68c4b49657-b88hs_default_cms-fc5b0d5b0aa4008961b18dfe93c4e04b2cfbde0f7ff072dc702c55823baba3a4.log"
  },
  "fields": {
    "@timestamp": [
      "2020-01-17T10:19:21.776Z"
    ]
  },
  "highlight": {
    "kubernetes.labels.app": [
      "@kibana-highlighted-field@cms@/kibana-highlighted-field@"
    ]
  },
  "sort": [
    1579256361776
  ]
}

映射如下所示:

代码语言:javascript
复制
log: string
log.keyword: string

任何自定义json映射都不会被识别。

有没有办法自定义这个"log“字段?如果有,我需要在哪里进行更改?我对fluentd和elastic很陌生,所以如果有任何帮助,我将不胜感激!

我在kubernetes上使用fluent/fluentd-kubernetes-daemonset。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-20 17:15:24

为了解决这个问题,我在docker本地拉出并运行了fluent/fluentd-kubernetes-daemonset:v1.4.2-debian-elasticsearch-1.1镜像。在entrypoint.sh尝试替换容器fluent.conf文件中的信息时,Had必须确保在初始运行时将FLUENT_ELASTICSEARCH_USER和FLUENT_ELASTICSEARCH_PASSWORD指定为环境变量。如果您不指定密码,它将清除文件中的信息。

然后执行到运行容器中,并将以下信息添加到fluent.conf中:

代码语言:javascript
复制
filter **>
  @type record_transformer
  <record>
    log_json ${record["log"]}
  </record>
</filter>


<filter **>
  @type parser
  @log_level debug
  key_name log_json
  reserve_data true
  remove_key_name_field true
  emit_invalid_record_to_error false
  <parse>
    @type json
  </parse>
</filter>

在此之后,我退出并停止了容器,在Docker Hub上我自己的repo中将容器提交到一个全新的镜像,并在我们用来部署到k8s的DaeomnSet yaml文件中引用了新镜像。

这可能不是最灵活或最有效的方法,但在没有任何关于如何定制fluentd.conf的文档的情况下,这就是目前的诀窍。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59785699

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档