AWS火龙带节流记录被FluentBit吞下，该如何处理？

Question

环境：

Kubernetes集群: EKS

日志代理: FluentBit版本1.2

FluentBit的目的地: AWS动态消防软管输送流

Fluentbit输出插件:amazon消防软管-for-fluent位

描述：

我们有一个设置，其中一个FluentBit (部署为守护进程)将日志放置到消防软管传递流中。有4个FluentBit荚( EKS集群中每个节点/EC2一个)，收集日志并将它们提交到同一个消防水管中。我们是在加拿大中部地区，这里的消防水管，我们有一个1MB/s的限制。我们从消防软管收到多个节流错误。发送的数据并不大，在CloudWatch中，我看到除了一些偶尔超过1MB的峰值之外，大多数情况下消耗都很低。

我真的想知道，这是正确的设置吗？从不同的FluentBit吊舱直接摄取日志到一个消防管道传送流(消防水管的目的地是S3)。因为控制来自FluentBit和亚马逊的数据流出率的选择是非常有限的。限制：

1. 在输出插件中，我无法控制数据流出到消防水管上。
2. ，如果我对输入插件和Fluentbit服务设置了一个限制，那么它会挤压每个fluentBit代理保持和推动

的能力。

我觉得如果有一个聚合器从所有fluentBit代理收集日志，并且只有一个摄入到的点，那么它将更容易控制。

你有什么建议？

Answer 1

如果观察到的节流本质上是短暂的，那么退却和重试将是最好的选择。但是，如果您看到定期节流，那么您可以使用aws doc - https://docs.aws.amazon.com/firehose/latest/dev/limits.html中提供的极限增加表单提交消防水管的极限增加请求。