分布式日志存储+ redis + elasticsearch设置

Question

在我们的网络中，有一些本地节点，并不总是将连接到中心节点，我们不能改变这种情况。

我们的要求如下：

1. 在本地节点中；本地日志将被存储并可被搜索。
2. 在中心节点中，所有收集到的日志都将被存储并可被搜索。

我们当前的日志存储设置如下；

Logstash在本地节点上收集日志，使用redis的船只也存储在本地elasticsearch实例中。在中心节点中，来自redis的输入再次存储在中央elasticsearch中。

因为本地节点并不总是连接的；日志不被传输到中心，并且日志在中心节点上不可用。

因此，我们需要额外的设置来传输记录在节点脱机时记录的日志。Logstash和Elasticsearch文档都不包括这种同步。你有什么建议吗？

Answer 1

您可以在具有中心节点不同端口的本地节点上运行redis。这意味着你会开始两次红葡萄酒。一个供本地使用，另一个用于中心节点！

本地节点还将日志发送到此redis。Redis将缓冲它收到的所有日志。(PS: Logstash可以以相同的配置输出到多个redis )

当网络连接时，中心节点可以从本地节点redis读取日志事件。这样就可以解决所有的同步问题。