大型日志管理和存储

Question

我经常处理大量的日志(每天以1Gb左右的速度增长)，我以旧的方式管理它们，在日志旋转到中央服务器之前将其转储，然后存储在磁带上。

现在，由于这些日志可以被当局请求，所以在某个时候，我必须阅读它们，找到它们需要的内容，并将有趣的部分我在意大利.无论如何，随着生成日志的数量不断增加，处理这些文件变得相当困难，我的磁带存储和跟踪也不像几年前那么容易。

我已经尝试过Graylog2，它似乎是一个非常好的软件，唯一的问题是，没有简单的方法将日志导出到另一个存储，并在需要时导入(也许我错误地理解了它的工作方式)。

有人能给我举个例子，说明他们用来管理这么多日志的过程吗?或者提供一个解决方案，方便地导出日志，并在需要时导入？

提前感谢

Answer 1

就个人而言，我们使用Graylog2 --我们的日志可能不像您的那么大，但它是存储和管理日志的好方法。

在您的情况下，我要做的是注意，Graylog2使用ElasticSearch作为日志存储。将Graylog2设置为在服务器能够处理的情况下保持活动和可搜索性。(您可以将其设置为删除X天以上的内容。)

为了存档目的，每个设置的间隔(即每天)运行一个脚本，该脚本将将该间隔的数据导出到冷存储。这应该和ElasticSearch的简单JSON查询一样简单。

我不知道你为什么要再进口。所有这些都是文本，所以您可以使用标准工具(即grep)根据需要搜索它，或者编写自己的ElasticSearch导入程序。