将内部部署日志转发到Kinesis Firehose

Question

对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到AWS Kinesis firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis

但我认为这个插件需要将日志数据转发到Kinesis数据流，然后我们可以创建到Kinesis Firehose的管道。如果我们指向Kinesis Firehose传递流，则会收到错误- ResourceNotFoundException消息:帐户XXXX下的流测试未找到

但是，如果我们将log-stash指向Kinesis数据流，然后通过管道将其传输到Kinesis Firehose，则它可以正常工作。

是否有人使用此log-stashoutput插件将日志数据直接转发到Kinesis Firehose。

Answer 1

logstash-output-kinesis使用Kinesis Producer库(KPL)将数据写入Kinesis streams。到目前为止，KPL还不支持直接写入Firehose。- https://github.com/awslabs/amazon-kinesis-producer/issues/29

此外，Firehose和Kinesis具有不同的服务端点，并且在logstash-output-kinesis项目中，似乎只有设置kinesis端点的选项。因此，即使您在配置中指定了一个有效的现有Firehose名称，因为端点设置是AWS kinesis的端点设置，您应该会看到"ResourceNotFoundException“。- https://github.com/samcday/logstash-output-kinesis/blob/acffae5beddcf00aa599c1fa75428f57bb7e7e30/lib/logstash/outputs/kinesis.rb#L55