云监视到日志存储的实时日志流

Question

我一直在使用Cloudwatch Logstash插件将Lambda应用程序日志从Cloudwatch流到Logstash。但最近，需要更多的感谢6个小时后，一些日志将被拉进逻辑仓库。我检查了日志存储日志，没有错误，但是我可以看到.sincedb文件落后了。Elasticsearch支持建议，因为这不是一个正式的插件，所以我应该使用文件传输的AWS模块，它是aws日志的一个模块。它使用文件节拍s3输入从带有S3通知的AWS S3桶中获取日志文件。这些文档可以在https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-aws.html上获得。

但是根据AWS关于将应用程序日志从Cloudwatch导出到S3的文档

日志数据可能需要12小时才能用于出口。

但我想实时输出数据。我已经在AWS支持论坛上提出了这一点，但我没有得到任何答复。请有人建议一种将应用程序日志从Cloudwatch实时流到Logstash中的方法。

Answer 1

其中一个选项是将lambda日志直接重定向到ES。如果使用python，则可以使用python库。使用这种方法，您可以非常肯定地拥有实时数据流，但是没有logstash组件。