实时日志聚合和查询使用什么？

Question

我正在寻找工具/数据库/解决方案，这些工具/数据库/解决方案可以帮助我聚合实时日志，也可以实时查询它们。

基本需求是尽快交付结果的能力，记住，可能有许多事件要查询(可能是数十亿)，但日志将有许多“列”，并且每个查询将在这些列上设置一些条件，因此最终结果将是某种类型的聚合，或者只返回一小部分行。

现在我正在考虑HDFS+HBase，这似乎是一个很好的解决方案。还有别的选择吗？你能推荐些什么吗？

Answer 1

你可以查看Flume：https://github.com/cloudera/flume/wiki。

Answer 2

你可以看看calamaris。在商业世界里，有Splunk。

Answer 3

如果你试图实时解析/收集日志，并对其采取一些措施，那么我的建议如下：

# tail --follow=name --retry /var/log/logfile.log | sendxmpp -i -u username -p password -j somejabberserver.com sendloglineto@somejabberserver.com

这将把日志中的每一行作为XMPP消息发送给jabber用户sendloglineto@somejabberserver.com。jabber用户应该是通过您编写的客户端/软件连接的用户(我更喜欢perl和Net::Jabber)。你可以编写客户端程序，让它对每条XMPP消息做任何你想做的事情(例如，存储在数据库中)。如果您将其存储在CouchDB中，则可以使用_changes接口跟踪CouchDB服务的特定数据库的更新。