实时异常检测和异常检测有什么区别？

Question

因此，得出以下结论:实时异常检测的定义是什么？

我正在研究异常检测领域，在许多论文中，这种方法是实时定义的，而在其他许多文献中，这种方法被简单地称为异常检测。

我碰巧发现，纠正我是否错了，大多数所谓的实时方法都是类似于接近实时的。具体来说，它们是一种基于非监督上下文的时间序列异常检测，其中上下文几乎总是桶大小。换句话说，这些算法处理的是微批量数据，因此从这里开始，几乎是实时的.

现在，我想知道这两种异常检测之间是否有区别。如果是的话，它们之间有什么区别，桶大小的阈值是多少(如果有)？

这组问题来自于这样一个事实:我正在对不同异常检测框架的预测性能/质量进行研究，我想知道这种差异是否很大，因为它包含两种不同的评估指标。我想看看关于这件事的一些经认证的消息来源。

Answer 1

有趣的是，我最近为一个爱好项目想到了一些类似的话题，并发现了一些有趣的博客，这是一家专门从事基于ML的异常检测的公司。要旨：

实时-有一个训练或基线数据集，系统可以参考。当然，如果优化的话，引用“查找”很快就会显示为实时的。

接近实时-没有现有的培训或统计模型，系统必须计算基线，数据框架或范围，因为它走，从而影响决策的速度。

一个我发现有用的博客..。(我和这家公司没有关系)：异常博客帖子

Answer 2

在我看来，这一切都归结为“实时”的定义。

作为一个控制工程师，我所生活的实时定义，仅仅是一个足够快的东西，在下一个样本到达之前处理接收的数据。这意味着，如果您知道采样率，您知道很多时间，您必须做您的传感器数据处理。

在控制理论中，处理算法内存的长度并不重要。是啊。桶大小，传感器缓冲长度。所选择的采样率和控制器的响应度都取决于被控制过程的动力学。

所以像家用散热器控制器的实时可能是每分钟一个样本，这意味着你可以处理一个很长的样本历史。原则上，你可以对过去两年的数据进行神经网络的训练，然后让它对每个接收样本进行一次异常检测。

如果这是雷达，数据以纳秒采样开始，那么除了应用阈值外，您可能没有时间做更多的工作。

失范检测是一个理论领域，它独立于处理时间序列所需的时间，所以在我看来，不同的是实时过程需求的Venn图，以及给定任何异常检测算法的异常检测所花费的时间。

因此，它是异常检测算法的一个子集，其中子集的大小取决于实时需求与处理能力之间的关系。

Answer 3

事实上，在许多博客或报纸上，他们也明确提到

1. “虽然本文将异常检测称为实时异常检测，但它实际上是一种准实时方法。”[1]。
2. “为了满足上述所有要求，在(近)实时中，在非常大的范围内可靠地检测异常.”[2]

因此，与其称这些方法为“实时异常检测”，不如称它们为“流数据异常检测”。如果您的方法非常快(例如，需要0.00001 s)来检测流数据中的异常，则可以称之为“实时异常检测”。

因此，“实时异常检测”与“异常检测”的区别在于：“实时异常检测”包含在“异常检测”中，在此基础上，“实时异常检测”专门用于检测流数据中的异常，且异常发生速度非常快。