如何将数据流到自托管的elasticsearch集群中？

Question

我将ES集群部署到access，它可以通过应用程序负载均衡器进行访问。我已经在集群中创建了一个索引。我将部署一个Kinesis来使用http_endpoint作为将数据流到ES集群的目标。

但是，我如何配置http谓词消防喉用于将数据放入ES端点呢？例如，我的ES端点是http://xxxx.com/myindex，我希望消防软管向这个端点发送POST请求。如何将其配置为使用POST而不是PUT

Answer 1

遗憾的是，Kinesis并没有让您对HTTP请求的外观有太多的控制，因为只有HTTP目的地的几个配置选项。

Kinesis根据自己的规范发送HTTP请求，并期望响应以一种特定的方式查看。你可以在这里找到说明书。

正如您所发现的，此规范与Elasticsearch的Index不兼容。另外，出于性能考虑，您可能希望使用大容量API，因为Kinesis将在一个请求中缓冲事件并交付多个事件。

因此，您很可能需要一些东西介于Kinesis和Elasticsearch集群之间，以处理HTTP请求和响应方面的差异。例如，这可以是一个简单的nginx代理，或者类似于调用Lambda函数的API网关。然后，这个Lambda函数向索引的Bulk发送一个请求，并根据HTTP规范为Kinesis构造一个响应。

我希望这能帮上忙。