Logstash和Elasticsearch，可能的数据丢失

Question

我有一个带有18360日志行的日志文件，我有一个模式来拆分和分析数据，但是不幸的是，当我运行logstash时，查询的点击量都只有8478。然后，我删除了这个索引中的所有数据，并将点击量降到零。然后我再次运行我的logstash，然后我得到了11432点击。这在我看来是很随机的，甚至像数据丢失一样。我通过stdin传递我的日期，并使用以下命令来实现这一点：

cat foo.log | /opt/logstash/bin/logstash -f bar.conf

(我还用直接文件作为输入进行了测试，点击量仍然是随机的)

这是数据丢失的证据还是其他原因？

Answer 1

做一个curl localhost:9200/logstash*/_count来获得一个可靠的计数。如果这比您预期的要少，那么您确实正在经历数据丢失。

如果是这样的话，检查您的elasticsearch日志中是否有错误，也检查您的日志中是否有错误。可能导致数据丢失的常见问题:内存不足、映射问题、网络超时、文件句柄数量问题等等。日志会告诉您。

如果没有，请查看elasticsearch日志，以了解kibana发送的查询是否有问题。这是可能发生的。