异常检测需要什么样的学习？监督学习，半监督学习还是非监督学习？

Question

最近，我正在做异常检测，其中一种方法是使用AEs模型来学习正常样本的模式。

如果不符合正常样本的模式，则将其确定为异常样本。

我训练AE没有标签，但我们需要使用‘标签’来确定哪个样本是正常的或不正常的。

我想知道这种培训是监督学习、半监督学习还是非监督学习？

Answer 1

监督学习是指您的模型从标记良好的数据集中学习。所谓标记良好的数据集，我的意思是每一行都被分类为一个类.模型从该数据集中学习模式并进行预测。监督学习的一个缺陷是它只根据它在训练数据集中看到的模式进行判断。

无监督学习是监督学习的反面。您有一个数据集，但是您对数据集的类一无所知。在这种情况下，您尝试在dataset中标识模式，并尝试将相同的模式聚在一起，集群形成一个类。集群的数量取决于数据科学家和数据。

半监督学习算法是在标记数据和无标记数据的组合上进行训练的.这有几个原因是有用的。首先，为有监督的学习贴上大量数据的过程往往令人望而却步，费时费力。此外，如果数据被人类标记，它可能包含来自我们判断的偏见。

异常检测属于无监督和半监督的范畴，因为在训练数据集中不可能有所有的异常标记。实现这一目标的方法有多种，从统计到机器学习，再到深入学习。要想对这些事情有一个详细的想法，请参考下面的链接https://www.datascience.com/blog/python-anomaly-detection

Answer 2

利用声发射进行异常检测是基于这样的假设，即我们可以学习到低维的非线性数据表示。由于正态点的数目远大于离群点的数目，所以学习过程主要是由正常数据控制的。学习后的网络有利于最大限度地减小正常点的重构误差，从而使异常值的重构误差更高，从而可以作为异常值的分数。

总之，AE可以在无人监督的情况下检测异常。使用Python异常点检测(PyOD)工具包可以轻松地做到这一点。AE的一个例子是这里。

Answer 3

这取决于您为数据集选择的算法。异常检测可以使用所有三种类型的算法，您选择哪种算法取决于数据集和域。

监督方法-如果你的数据集对正常数据和异常数据有很好的样本分布，那么你可以做一个监督类的算法，比如CNN分类器等等。

半监督-如果你的数据集有良好的正常数据分布，而不是异常数据，那么你可以使用半监督数据。在这种方法中，您对正常数据进行模型训练，并得到实际数据偏离正常数据多少的异常分数。例如基于AnoGAN或DCNN的图像完成等。

无监督的--如果您的数据集对于正常数据和异常数据都没有很好的分布，那么您可以考虑聚类算法，并查看那些成员很少的集群。