Kinesis Firehose上的慢PutRecordBatch

Question

我们对EU-West-1中的所有Kinesis firehose流的PutRecordBatch写入速度变得非常慢。这已经断断续续地发生了好几天了。

它一开始是一个运行缓慢的Lambda函数，所以我们查看了Lambda X-ray，以了解减速发生在哪里，以及它一致地写入连接以放置Firehose。有时他们立马就成功了，有时他们需要几秒钟甚至几分钟才能完成。我们写入多个Firehose流，并且流间的减速似乎是随机的(见下文)。

​

​

非常感谢您的帮助。感觉就像我们达到了某种限制，正在限制我们的请求？

Answer 1

我遇到了类似的问题，并使用异步客户端：AmazonKinesisFirehoseAsync修复了它。

结果令人难以置信，之前的put非常不一致，在一些请求中需要几秒钟的时间，但在使用AmazonKinesisFirehoseAsync之后，速度要快得多。下面是关于如何使用它的代码片段：

AmazonKinesisFirehoseAsyncClientBuilder builder = AmazonKinesisFirehoseAsyncClientBuilder.standard().withRegion("us-west-2"); // put your own region
AmazonKinesisFirehoseAsync firehoseAsync = builder.build();
// put request
firehoseAsync.putRecord(putRecordRequest);

要添加x射线跟踪，可以构建客户端，如下所示：

AmazonKinesisFirehoseAsync firehoseAsync = builder.withRequestHandlers(new TracingHandler(AWSXRay.getGlobalRecorder())).build();

Answer 2

是的，您之所以会遇到这个问题，是因为您遇到了一些限制。

在documentation上查看此处。