将日志从远程服务器拉到elasticsearch中

Question

简短的问题是:是否有可能从远程服务器中提取日志(在日志文件中)，并将它们摄取到ELK堆栈中。

长话短说如下：

• 我们有一个带有DMZ的设置，它是公开面对的
• 我们有一个intranet环境，它承载了许多内部系统，包括ELK堆栈。
• 由于安全法规的原因，我们不能从DMZ到intranet建立连接(在IP级别上)。
• 不过，我们可以从intranet到DMZ建立连接。

由于这种设置，我们无法按照在存储日志的服务器上安装Filebeat的正常路线，将消息推送到logstash安装中。

我们想做的事情看上去有点像以下几点：

• File节拍或任何其他进程在DMZ中收集服务器上的日志。
• 在这个服务器上有一些进程(Filebeat，logstash，另一个elasticsearch实例？)将这些信息保存在本地商店中
• 这个工具(不管最后可能是什么)侦听从intranet获得的端口
• intranet中的另一个工具连接到DMZ工具，并提取所有收集的日志以供进一步处理。

到目前为止，我们的研究只得到了将日志信息推送给logstash或elasticsearch的解决方案。

我们不想做的一件事是使用文件兔子直接从intranet获得日志文件。

我们的问题是，我们心中的想法是否可能，如果可能，我们将用什么工具和设置来完成这一任务。

Answer 1

您可以使用Kafka作为消息代理进行以下操作

在您的DMZ服务器上，您可以通过文件收集日志并发送到一个logstash实例，然后这个logstash将输出您的日志到kafka。

这是一个简单的管道，包含beats输入、适配器和kafka输出，如果您不想对数据进行任何充实，您可以通过文件节拍将日志直接发送到kafka。

然后，您的kafka代理将在端口上侦听，并等待任何消费者连接并使用这些消息。

在您的intranet上，您将需要一个具有使用kafka输入的管道的logstash实例，该管道将充当卡夫卡用户，并将提取您的消息，然后您可以使用elasticsearch输出存储在您的intranet elasticsearch集群中。

有关更多信息，请阅读kafka文献，以及logstash文档中的卡夫卡输入和卡夫卡输出文档。