通过fluentbit输出插件联系loki

Question

我正在使用fluentbit从kubernetes集群收集日志，有一个连接到loki的输出将它们发送到那里。

这是我在fluentbit configmap文件中的loki配置

由于loki部署在loki命名空间，并且在fluentbit命名空间中使用流利，所以我用它来联系loki：host loki.loki.svc.cluster.local

apiVersion: v1
data:
  custom_parsers.conf: |
    [PARSER]
        Name docker
        Format json
        Time_Key time
        Time_Format %Y-%m-%dT%H:%M:%S %z
  fluent-bit.conf: |
    [SERVICE]
        Daemon Off
        Flush 1
        Log_Level info
        Parsers_File parsers.conf
        Parsers_File custom_parsers.conf
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 100MB
        Skip_Long_Lines On
    [INPUT]
        Name systemd
        Tag host.*
        Systemd_Filter _SYSTEMD_UNIT=kubelet.service
        Read_From_Tail On
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Keep_Log Off
        K8S-Logging.Parser On
        K8S-Logging.Exclude On
    [OUTPUT]
        Name stdout
        Match kube.*
        Format json
        Json_date_key timestamp
        Json_date_format iso8601
    [OUTPUT]
        Name loki
        Match kube.*
        host loki.loki.svc.cluster.local 
        port 3100
        tenant_id ""
        Labels {job="fluent-bit"}
        auto_kubernetes_labels false
        line_format json
kind: ConfigMap
metadata:
  annotations:
    meta.helm.sh/release-name: fluent-bit
    meta.helm.sh/release-namespace: fluent-bit
  creationTimestamp: "2021-10-21T13:53:14Z"
  labels:
    app.kubernetes.io/instance: fluent-bit
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: fluent-bit
    app.kubernetes.io/version: 1.8.8
    helm.sh/chart: fluent-bit-0.19.1
  name: fluent-bit
  namespace: fluent-bit 

但是我在我的fluentbit日志中发现了这个错误。

[2021/10/21 14:59:59] [error] [output:loki:loki.1] loki.loki.svc.cluster.local:3100, HTTP status=400 Not retrying.
1:2: parse error: unexpected left brace '{'

看起来这不是正确的格式，有时我会收到另一条具有相同配置的消息(奇怪)：

[2021/10/21 14:59:59] [error] [output:loki:loki.1] loki.loki.svc.cluster.local:3100, HTTP status=400 Not retrying.
1:2: parse error: unexpected left brace '{'

就像我必须在loki上显式指定POST端点才能将日志推送到那里一样，this one /loki/api/v1/push

但总的来说，我得到了最多的400糟糕的语法错误。如何通过fluentbit configuration联系loki？

Answer 1

您不应该使用大括号来标记标签，这将导致：

[OUTPUT]
    ...
    Labels job="fluent-bit"
    ...

请参阅此处的示例：https://docs.fluentbit.io/manual/pipeline/outputs/loki