处理监视器警报过载和脱敏的最佳方法？

Question

我们正在将监控添加到我们网络上的各种服务器和进程中，目前，如果出现问题，各种监视器将向我的开发团队发送电子邮件-X分钟内网站上没有客户付款，支持某个进程的web服务没有响应，每日自动FTP到供应商失败，等等。虽然其中一些是信息性的，需要尽快解决(例如，明天或周一可以)，但有些是关键的，是实际客户停机的结果，因此需要尽快恢复。

问题是，有太多的电子邮件，人们开始对它们失去敏感度，甚至开始忽略关键的邮件。即使我们有一个每周都会变化的关键人员，我仍然发现关键警报会放在那里，没有人认领，也没有回应，有时会持续几个小时。

其他人正在做些什么来更好地处理这些类型的监控和警报情况？我是否应该有一个仪表板或摘要电子邮件来提供当天的所有内容？那么关键的事情呢--群发电子邮件仍然是最好的方式吗？我很想看看其他人是怎么做的，以确保事情很快得到解决，但要确保开发人员不会不知所措。

Answer 1

在RHQ ( http://rhq-project.org/ )，我们有抑制事件-例如，每5个警报才发送一封电子邮件，等等。

也可以使告警禁用发送，然后具有第二个所谓的恢复告警，如果出现下一个差错情况，则(如果差错情况消失)重新启用发送。

有关详细信息，请参阅http://www.rhq-project.org/display/JOPR2/Alerts。