我是否使用Filebeat，Ingest或管道来清除我的麋鹿堆栈中的Logstash？

Question

我对ElasticSearch中的文件传输、吞食管道相当陌生，也不确定它们之间的关系。

在我以前的环境中，我们在logstash-托运人的目录中使用了一些定制的grok模式来正确地解析java堆栈跟踪。logstash索引器稍后会将日志放入ES中。

没有Logstash我该怎么做？以及如何解析自定义日志格式？

Answer 1

您可能可以直接使用File节拍。较新版本的file节拍有一个“模块”的概念，这是您可以应用的自定义解析器。有内置的东西，如nginx，apache2，redis等。不知道如何编写自定义模块，但它可能是一个值得探索的途径。

也就是说，与弹性堆栈中的任何其他组件相比，更高级/自定义解析更好地留给Logstash。

Answer 2

我不确定你是否对商业解决方案开放，但相扑逻辑是一个极好的摄取型解决方案。我还尝试了Logly和LogDNA，它们很不错，但功能不像相扑那样强大，功能丰富。我也要说，对这家公司来说，我不是什么好消息。我只是一个讨厌处理糟糕和不完整的日志收集的DevOps家伙。

在处理了麋鹿的复杂性之后，我已经读过，这是非常强大和灵活的，所以我已经读过了，ElasticSearch并不适合那些胆小的人，尤其是当你走进一家商店，他们的麋鹿堆叠已经4岁了。了解Sumo是一个云解决方案是很重要的，所以只要您可以通过HTTPS将日志和度量标准传送到它们的服务器，这是一个很好的方法。然后，您可以只关注功能配置，而不必维护核心服务。它提供了我记得的Splunk所做的大部分事情，而不是昂贵得令人望而却步。您可能已经猜到了，我刚刚完成了一个项目，从ELK迁移到Sumo进行生产日志数据和度量可视化，这与Kibana完全不同，因为获得有用的输出要容易得多。我发现统计能力也是相似的，但Kibana似乎更符合实际。它很容易设置警报，集成像Slack这样的工具的RESTful API，执行复杂的数据关联，并为管理制作purdy。它是全面的，因为它是一个完整的堆栈。此外，有一个非常完善的厨师烹饪书，所以一旦您得到您的摄取配置和规则集，安装和配置是非常容易管理的。这可能很费时，但就食谱而言，我认为它的复杂性中等。数据摄取是非常灵活的--我并没有因为它能做什么而受到任何限制，但我确实放弃了尝试从logstash中直接摄入，因为让元数据映射比它更有价值。虽然阅读文本日志是它们的目标，但推送日志和度量也是一种选择。我们继续使用logback进行应用程序日志记录，但是现在Sumo收集了几乎所有的日志以及石墨数据。它还能很好地完成Windows事件日志。我们已经开始集成来自k8s的流畅，但是我们在保持日志容量的控制方面遇到了一些挑战。

他们为大量的开放源码软件、应用程序框架和基础设施元素建立了自己的预构建支持设置，这可以使初始设置的速度快得多，但有些供应商甚至拥有先进的预构建的Sumo逻辑实现，这些实现非常棒，因此我们的CDN日志创建了一个出色的仪表板，提供了站点健康状况、负载以及大量其他有用数据的出色图像。当然有一个学习曲线，但没有什么像麋鹿那样。正确处理所有的正则表达式，以便正确处理应用程序日志中的异常之类的事情可能需要时间，但您可以花费很小的精力，因为很多繁琐的问题，比如自动时间戳检测和多行检测，都是在您需要的情况下内置的。摄入可以是复杂的，你希望它是。我发现，在过去的一年里，我建立了一种进化模式，我从一个非常基本的设置开始，在我的查询中做了所有的模式匹配，但最终我有了吞食规则，为我筛选出了我所有的字段，这使得事情对其他用户更加友好。此外，支持和文档也非常好。就付费服务而言，这一项似乎很值得，除非你已经和麋鹿在一起了。

天啊，这可能比你想要的要多得多，但这是相扑逻辑的一个公平的分解。(我希望！)