在弹性搜索中存储结构化日志

Question

我们考虑在elasticsearch中存储结构化日志。这是elasticsearch新手提出的一个高层次问题。

我不确定在elasticsearch中对结构化日志进行索引之后是否可以删除它们。

我看不出为什么要保存原木。它们可以再次从elasticsearch中检索到。

只要我们有足够的存储空间进行elasticsearch，为什么要在elasticsearch之外保存日志的副本？

Answer 1

引用文档的话：

_source字段是一个自动生成的字段，它存储用作索引文档的实际JSON。它不是索引(可搜索)，只是存储。

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html

如果备份了elasticsearch，并且没有禁用_source字段，则可以删除/删除/删除原始json数据。

您可以自由地将旧东西从elasticsearch转移到N年后的不同存储区。

答:您不需要将数据存储在其他地方。

Answer 2

关于ES中结构化日志的快速记录..。我建议您看看麋鹿堆栈：http://www.elasticsearch.org/webinars/elk-stack-devops-environment/

它在运送日志的中心使用logstash，这是一种经过了很好的尝试和真正的技术。

要快速启动和运行，您可以使用一个Docker映像(https://registry.hub.docker.com/u/qnib/elk/)，它为您安装了ES、logstash和Kibana。想办法自己解决这个问题，省去了很多麻烦。

至于保存日志..。我只保留一小部分原木(2周？)在机器上。使用logstash转发器作为客户端(https://github.com/elasticsearch/logstash-forwarder)，它将自动为您旋转日志。你会想要机器上的日志以防埃斯倒下。