使用运动流登录到ElasticsSearch

Question

我正在努力理解Kinesis数据流，而且我对术语和总体情况并不感到困惑。因此，我在服务器EKS集群上运行一个服务，并希望将日志发送到ElasticSearch。目前的设置是，我在EKS节点上使用fluentD收集日志，并将它们发送到动态流，然后向ElasticSeach报告，在那里可以使用kibana对日志进行分析。

但,

我不知道血缘流是怎么回事。当fluentD发送日志数据时，根据https://aws.amazon.com/kinesis/data-streams/faqs/，将有一个与blob数据关联的分区键和序列号。现在，我无法理解以下几件事：

来自生产者端的

1. 正在创建分区键，以及如何创建分区键？
2. 索引的作用是什么？索引是否类似于数据和碎片是该特定日期的日志数据？
3. ，由于存在基于分区键的排序，我们如何顺序地看待基班纳中的日志？这意味着分区键也是顺序的。

Answer 1

我认为您正在做的是麋鹿堆栈，在我看来，您的流程缺少Logstash导致堆栈中的某些特性丢失。

https://docs.aws.amazon.com/streams/latest/dev/key-concepts.html中的

数据记录是存储在动态数据流中的数据单元。数据记录由序列号、分区键和数据blob组成，后者是不可变的字节序列。Kinesis数据流不以任何方式检查、解释或更改blob中的数据。数据blob最多可达1MB。因此，它们是由Kinesis自动生成的，用于对日志进行排队，这样Elasticsearch实例就不会崩溃。

，

1. ，我也和它搞混了。但您可以想象，它就像您正在推送到Cloudwatch的日志中创建的名称一样。您需要Logstash将日志分离为多个索引，这样您就可以知道您在寻找哪一个.

1. Kibana默认按时间戳列出索引中的日志。

我做了一个星期的麋鹿堆，所以我不能确定我在这里说的是完全正确的。如果我错了，请纠正我