是否存在开放源代码的分布式日志记录库？

Question

我说的是一个库，它允许我记录来自不同机器的事件，并以足够高的精度将这些事件对齐在“全局”时间轴上。

事实上，我之所以问这个问题，是因为我在一个集群计算项目的过程中写过这样的东西，我发现它非常有用，我很惊讶我找不到类似的东西。

因此，关键是这样的东西是否存在(我最好为它做出贡献)，还是什么都不存在(我最好写一个开源的解决方案)。

下面是我希望从这样一个库中获得的特性：

• 不同机器之间时钟偏移的独立性
• 计时精度至少为毫秒，最好是微秒
• 可扩展到数千个并发日志进程，每秒至少有几兆字节的聚合日志
• 软实时操作(t.i )。我不想从200台机器上收集200条大日志，然后计算时钟偏移量并将它们合并--我想看看会发生什么“活的”，可能会出现像10s这样的小滞后。

Answer 1

Facebook在这件事上的贡献被称为“文士”。

节选：

Scribe是一种用于聚合流日志数据的服务器。它被设计成可以扩展到非常多的节点，并且对网络和节点故障具有鲁棒性。在系统中的每个节点上都有一个抄写服务器，配置为聚合消息并将它们发送到较大组中的中央抄写服务器(或服务器)。

..。

Scribe是使用非阻塞C++服务器作为节约服务实现的。facebook的安装运行在数千台机器上，每天可靠地传递数百亿条信息。

这个API是基于用于Scribe的log4j附录的，所以您有一个很好的平台覆盖率，但是如果您想要为Java进行简单的集成，您可能想看看Digg的。

Answer 2

您可以使用log4j/log4net针对中央syslog守护进程。log4j有一个内置的SyslogAppender，在log4net中你可以像这里那样做。log4cpp docs 这里.

如果您没有Unix系统，可以使用Syslog的Windows实现。

Answer 3

使用Chukwa及其开源的大规模日志监控系统