异常检测-使用什么

Question

什么系统用于异常检测？

我看到像Mahout这样的系统没有列出异常检测，但是像分类、聚类、推荐等问题.

任何建议以及教程和代码示例都将是很棒的，因为我以前没有这样做过。

Answer 1

存在一个基于一类支持向量机的异常检测在scikit中的实现--学习 .您还可以检查ELKI项目，它实现了空间异常点检测。

除了“异常检测”之外，还可以通过“孤立点检测”、“欺诈检测”、“入侵检测”扩展搜索，以获得更多的结果。

Answer 2

有三类孤立点检测方法，即有监督的、半监督的和无监督的.

• 监督:需要完全标记的培训和测试数据集。首先对普通分类器进行训练，然后应用。
• 半监督:使用训练和测试数据集，而训练数据仅由正常数据组成，没有任何异常值。学习一个正常类的模型，然后通过偏离该模型来检测异常值。
• 无监督:不需要任何标签；训练数据集与测试数据集数据之间没有区别，只是根据数据集的内在属性对数据集进行评分。

如果您有未标记的数据，可以使用下列无监督异常检测方法来检测异常数据：

1. 使用自动编码器，它捕获数据和标志中呈现的特性的特征表示形式，作为异常值，使用新的表示形式无法很好地解释这些数据点。数据点的离群值分数是根据重建误差(即原始数据与其投影之间的平方距离)计算的，您可以在H2O和丹瑟尔流中找到实现。
2. 使用聚类方法(如k-prototypes自组织映射(SOM)和)将未标记的数据聚类到多个组中。您可以检测数据中的外部和内部异常值。外部异常值被定义为位于最小集群中的记录。内部异常值被定义为位于集群内部的远程记录。您可以找到索姆和K-原型的代码。

如果你有标签数据，有很多有监督的分类方法，你可以尝试去检测异常值。例如神经网络、决策树和SVM。