如何处理间歇性断开并通过HTTP流畅位发送正确的时间戳？

Question

我在一个仓库环境中运行流利的比特，那里的互联网连接经常中断。尽管如此，我还是希望将数据从fluent bit上传到我的logstash服务器(HTTP输出)。

我运行了一些测试，断开互联网连接，发送数据，等待一分钟，然后重新连接。不幸的是，在kibana上，我可以看到Fluent bit发送的时间戳是这一分钟之后的一分钟，而不是之前的一分钟。当发送日志文件时，这并不重要，但当跟踪随时间变化的性能或CPU活动时，它确实会弄乱数据。

我想在仓库中有一个中央设备，在那里我可以转发数据，这个设备将使用Fluentd将数据发送到logstash，但我想知道是否有更简单的解决方案。我也不确定这里会考虑哪个时间戳。

另外，我也看了一下collectd，但它并不像Fluent Bit那样容易使用。

我是否遗漏了任何显而易见的解决方案？

Answer 1

正如ibexit所指出的，时间戳被正确发送，但在我的例子中，logstash转换失败。如果我将数据直接发送到elasticsearch，时间戳就没问题。因此，答案是使用fluentbit提供的完整存储系统，同时直接发送到logstash。

在仓库环境中，以集中的方式将数据转发到另一个单元还有其他好处，而且在安全约束方面会更好地体现出来，但这取决于您的业务案例。