分布式日志系统

Question

我需要在分布式文件系统中存储日志。

假设我有许多类型的日志。每种日志类型都记录在文件中。但是这个文件可能很大，所以它必须分布在多个节点上(通过复制实现数据持久性)。

这些文件必须支持append/get操作。

有没有能满足我需求的分布式系统？

谢谢!

Answer 1

我推荐Flume，这是一个从Cloudera的人那里拉出基础设施的日志：

http://github.com/cloudera/flume

你也可以尝试Facebook上的Scribe：

http://github.com/facebook/scribe

Answer 2

将NAS与非sql数据库(如MongoDB )相结合，您将拥有分布式、大型和容错的数据库。

当然，如果没有更具体的细节，比如有多少数据，日志的结构(或缺少)等，就很难推荐一个真正的产品。

例如，如果您所说的“巨大”实际上是指2TB或更少，并且数据是高度结构化的，那么在两台机器的集群环境中用于故障转移的常规SQL服务器就可以了。

但是，如果您所说的“巨大”指的是if级或更多的非结构化数据，那么就需要几个大型(且非常昂贵的) NAS设备。在其上运行一组无sql的数据库，这些数据库针对故障/转移和/或多主机关系进行了集群...

Answer 3

您可以使用Logstash收集日志并将其集中到Elasticsearch集群中。本地日志可以是滚动日志文件，因此它们仍然很小。此外，您还可以使用Graylog2来分析和查看日志。