Syslog异常检测

Question

我想知道，是否有人知道计算机日志上的开源异常检测算法？例如，计算机日志如下所示：

值UL-CCCH-Message ::= { integrityCheckInfo { messageAuthenticationCode 0，rrc-MessageSequenceNumber 0 }，消息cellUpdate：{UL标识232，s-RNTI 178710 }，startList { cn-DomainIdentity ps-domain，start-Value 58 }，am-RLC-RLC-ErrorIndicationRb2-3 or4 FALSE，am-RLC-RLC-ErrorIndicationRb5 message FALSE，cellUpdateCause cellReselection，rb计时器-指示符{t 314-过期假，t 315- FALSE }，measuredResultsOnRACH { currentCell { modeSpecificInfo fdd：{ measurementQuantity cpich-n0: 24 } }“

有一种方法，可以从日志中提取特征，并对时间序列数据进行异常检测，但另一种方法是自动从日志中发现通用模式，并制定规则/准则，如果未来的日志属于一般模式，如果不属于一般模式，则会出现异常。我想知道在日志中找到自动模式发现的任何algoritm。

如果你有专业知识，请分享你的想法。

谢天谢地，萨什

Answer 1

对您的问题的直接回答是-您提供的计算机日志没有开源异常检测算法(我猜输出来自电信BTS，对吗？)

有一些异常检测算法，如频繁模式挖掘、k均值等。

大多数情况下，所有异常检测算法都是Python、R、Matlab等程序包的一部分，因此不需要寻找算法。

现在我想你真正的问题是：

有一种方法，可以从日志中提取特征，并对时间序列数据进行异常检测，但另一种方法是自动从日志中发现通用模式，并制定规则/准则，如果未来的日志属于一般模式，如果不属于一般模式，则会出现异常。我想知道在日志中找到自动模式发现的任何algoritm。

上面没有现成的系统。我可以建议的最佳选择是:使用SumoLogic/Splunk或类似类型的解决方案进行基于文本的搜索。这些工具会对你的问题有所帮助。然而，最终，这些异常的准确性将成为一个问题。

因此，答案是:您需要构建一个定制的ML系统(使用功能extraction+optimization+algorithm+visualization)来解决时间序列BTS计算机日志中的异常检测问题)。您的交付品(确切地说是提供什么--异常、洞察力、分析)将对您将使用的算法、特性和参数产生重大影响。

我已经在上面工作了超过一年半了，我真的建议你从一些小事情开始--比如基于文本的搜索软件--它足以用于日常的技术支持故障排除。

一个小提示--看看人们如何在网络安全中构建入侵检测系统--他们正在解决同样的问题(正常和异常异常，基于序列的分析，等等)。

Answer 2

以下是基于本文的方法：企业搜索。它是在基于文本的搜索平台Apache Solr的基础上开发的。

1. 根据窗口对日志进行分组，例如时间窗口
2. 计算每个组或窗口的术语统计信息。即特征提取。
3. 对时间序列数据(不同时间窗的术语统计)应用通用异常检测算法
4. 基于异常信息发现异常日志