如何在Splunk Cloud中配置PagerDuty警报？

Question

关于Splunk Cloud中的PagerDuty集成，我遇到了一些不同的问题。

PagerDuty网站上的文档要么是过时的，不适用于Splunk Cloud，要么是我的Splunk Cloud帐户的配置方式有问题(可能是权限问题)：https://www.pagerduty.com/docs/guides/splunk-integration-guide/。我在Splunk Cloud中没有看到Alert Actions页面，但我有一个搜索、报告和警报页面。

我已经使用alert_logevent应用程序在Splunk中配置了PD警报，但还不清楚我是否应该使用其他应用程序。当有搜索结果时，这些警报确实会触发，但我看到了另一个问题(如下所示)。alert_webhook应用程序类型似乎是合适的，但我无法让它正常工作。我无法使用pagerduty_incident应用程序创建警报类型。。。虽然我可以将它设置为触发器操作(我猜这就是它的工作方式，但我觉得这里的UI并不直观)。

当我的警报触发并在PagerDuty中创建事件时，我看不到设置PagerDuty事件严重性的方法。

此外，PD事件包括一个返回到Splunk的链接，我相信Splunk应该会打开带有生成警报的搜索命中的查询。然而，该链接将我带到一个页面，其中包含一个找不到的页面！错误。它包含一个指向“关于我的请求的更多信息”的链接，该链接将显示一个没有匹配的Splunk查询。此查询类似于"index=_internal，host=SOME_HOST_ON_SPLUNK_CLOUD，source=*web_service.log，log_level=ERROR，requestid=A_REQUEST_ID“。我不清楚这是不是配置问题，Splunk Cloud中的bug，甚至可能是我的帐户的权限问题。

任何帮助都是非常感谢的。

Answer 1

我也是Splunk Cloud + PagerDuty的客户，也遇到了同样的问题。PagerDuty App for Splunk似乎将所有事件都创建为Critical，但您可以使用事件规则设置不同的严重程度。

执行此操作的一种方法是使用所需的严重性级别重命名dynamically警报，然后为每个级别创建一个PagerDuty事件规则来查找摘要中的关键字。例如..。

如果满足以下条件：

Summary contains "TEST"

然后执行以下操作：

Set severity = Info

screenshot of the example in the event rule edit screen

在Splunk中重命名您现有的警报有点痛苦，但它很有效。

如果您在Splunk中的严重级别是以编程方式设置的，就像在企业安全中一样，那么另一种方法是修改Splunk的PagerDuty应用程序，以在webhook有效负载中将$alert.severity$ custom alert action token作为自定义详细信息发送，并将其用作事件规则条件，而不是摘要...但这似乎更难。