大数据分析。Elasticsearch，Logstash，Kibana，MRTG

Question

因此，我不得不想出一种方法，使大量数据对用户来说是“可读的”，我想知道是否有人能指出使用elasticsearch + kibana和使用MRTG之类的方法之间的区别。对于更关注趋势的数据分析，哪种方法更适合？

Answer 1

您提到的两种方法是针对完全不同类型的数据的。

如果数据是不规则的，它仍然是可能的，尽管您需要在一定程度上定制RRDTool数据库设置，以避免大的“未知”区域。RRDTool能够对您正在记录的指标进行趋势分析，尽管这不是通过MRTG完成的--您需要直接调用RRDTool函数。

如果您的数据是文本日志条目(事件)的不规则序列，可能包含可解析的位置数据，并且您对事件的数量或速率更感兴趣，则在深入查看单个事件之前，Logstash/Kibana是最佳选择。他们会给出一段时间内事件发生率的图表，但我不认为他们能提供趋势分析。此外，它们不提供嵌入在事件日志文本中的已解析数据的图形分析。Logstash/kibana非常适用于Syslog、Eventlog、应用程序日志(如Apache日志)等，在这些日志中，您更感兴趣的是查看一段时间内发生了多少与特定模式匹配的事件。

Answer 2

Elasticsearch对于存储结构化数据非常有效，比如文本。Logstash的用例是如何组织数据以进行有效查询的一个示例。

MRTG/RRD是一种用于测量时间间隔数据的工具。每X个时间单位，日志值Y。MRTG/RRD对于存储文本无效，它的任务不涉及Elasticsearch的用例。

如果您已经启动并运行了Logstash安装，那么可以考虑使用Graphite工具。Logstash可以将事件触发到Graphite或Statsd，也可以将事件数据存储在ElasticSearch中。石墨/碳的好处是它不像MRTG那样与时间间隔捆绑在一起。您可以随心所欲地向Graphite发送信息，也可以不频繁地向Graphite发送信息。

(我并不是说与ES和Graphite集成，只是说如果您使用Logstash来推送事件，时间将很容易查找。)