监控生产中的Yarn/Cloudera应用程序日志

Question

我不是在谈论Cloudera或Yarn系统级日志。我说的是在Cloudera/Yarn基础设施上运行的应用程序。

我们的Cloudera Infra上运行着数十个Java和Python应用程序，所有这些应用程序都会生成应用程序日志。我正在寻找最好的方式来监控这些日志的任何错误和警告。如果它是一个纯独立的Java应用程序，传统上我们可以使用这些日志抓取器工具中的一个，根据表达式匹配发送电子邮件(以检测错误/警告/任何其他特殊情况)。我正在寻找类似的东西，可以监测我们的应用程序日志和电子邮件在实时为我们提供更好的生产应用程序支持。如果像传统的应用程序日志监控那样思考这一点不是正确的方式，那么我很高兴知道是否有更好的行业标准方法。谢谢!

Answer 1

我想ElasticStack (https://www.elastic.co/de/)可能是解决这个问题的一种方法。您可以使用FileBeats将您的应用程序日志发送到Logstash，后者将其转发到ElasticSearch。然后，您可以在Kibana中创建一个Watcher，它基于某种触发条件发送电子邮件(我们使用webhook将通知发送到MS Teams通道)。

此解决方案应至少在接近实时的情况下工作(大约1-2分钟延迟，但这也取决于您的观察者配置)。