使用EFK堆栈从kibana上的S3获取亚马逊网络服务日志

Question

我有一个在EKS上运行的EFK堆栈。如何从S3存储桶中收集日志并通过Kibana查看它们？

Answer 1

您可以使用此插件为s3 https://github.com/tomohisaota/fluent-plugin-forward-aws添加新的源

首先，您需要添加源配置

<source>
  type forward_aws
  aws_access_key_id     XXXXXXXXXXXXXXXXXXXX
  aws_secret_access_key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

  aws_s3_endpoint       s3-ap-northeast-1.amazonaws.com
  aws_s3_bucketname     XXXXXXXXXXXXXXXXXXXX

  aws_sqs_endpoint      sqs.ap-northeast-1.amazonaws.com
  aws_sqs_queue_url     https://sqs.ap-northeast-1.amazonaws.com/XXXXXXXXXXXXXXXXXXXX
</source>

然后需要使用match解析它们，并将它们转发到elasticsearch