基于内存、cpu、io、net等系统度量指标的无监督异常检测

Question

在我可以在网上看到的所有例子中，人们都使用了标签数据集。然而，我被困在试图建立一个模型来执行异常检测的无标记数据集(无监督异常检测)。

问题陈述:将异常点与正常点分开。我们提供的功能有mem_usage、mem_total、cpu_usage_idle、cpu_usage_iowait等。

使用异常检测，我计划将数据集标记为是否异常。进一步的步骤是根据数据所属的服务器聚合每一行，并发现服务器是否正常，是否有问题。更重要的是预测服务器何时可能面临类似的问题，从而提出缓解问题的方法。

任何类型的资源(论文、代码、博客、视频)都是受欢迎的。我刚刚开始，也愿意尝试新的东西。

Answer 1

您有关于这些指标的序列数据吗？例如，它们是否随着时间的推移而进化，并且您想在这些序列中定位异常？

如果是这样的话，您可以查看这里描述的工具：

https://github.com/rob-med/awesome-TS-anomaly-detection

它们都是无监督的方法，所以你不需要无异常的数据来训练。

如果你不是在处理时间序列，你也可以采取许多没有监督的方法。本文对这一课题作了较好的综述。

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0152173

Answer 2

https://medium.com/@curiousily/credit-card-fraud-detection-using-autoencoders-in-keras-tensorflow-for-hackers-part-vii-20e0c85301bd

在本系列的这一部分中，我们将以无监督(或半监督)的方式训练一个自动编码器神经网络(用Keras实现)来检测信用卡交易数据中的异常。经过训练的模型将在预标记和匿名数据集上进行评估。

Answer 3

您可以参考“基于隔离林的异常检测”。我想这会有帮助的。参考资料: Liu等人，2008年。这是一种无监督的异常检测。