数据转换与日志存储

Question

我有一个关于洛什的建筑问题。

我们有由硬件设备生成的日志文件，这些文件非常神秘。在向elasticsearch发送JSON之前必须进行某种转换和增强。我得到了数列，它们应该被转换成可读的东西。某种意义上的价值转换。

在进行这些转换时，事情会变得更加复杂。例如，每个设备都有一个配置文件，在进行转换时必须考虑到这一点。

现在，海事组织有三种意见来实现这一目标：

• 使用logstash-filter-变体插件
• 实现我自己的logstash-filter插件
• 将logstash用作小型and服务器，并预先进行转换。

你对这些方法有什么经验吗？你喜欢什么?为什么？

熊休伯特

Answer 1

首先，我同意你的看法。您将使用一些东西来操作您的数据(logstash过滤器，beat，.)然后转发到某个地方(elasticsearch或其他日志存储)。

在我看来，对于生产服务器来说，logstash太重了。我们以前使用过，而它使用了太多的资源。Elasticsearch有能力处理这个问题。(我知道不仅仅是这种情况。)您只需使用节拍从文件中收集日志。在您的例子中，有一个极端的问题需要使用已经存在的问题。原木很神秘什么的。如果您已经能够加密数据，则可以将自定义拍频写入更小的解决方案。我认为这可能比编写logstash插件更容易，但还有另一个挑战，那就是Golang。我不知道logstash插件，但我以前写过一个节拍。您可以检查优秀的beats文档来创建一个。

在为系统创建一个节拍之后，您可以将日志转发到logstash。有一个关于这的文档。此外，您还可以检查这个回购中的文件配置，作为一个实际示例。