使用机器学习检测损坏的传感器

Question

我是机器学习的新手。

我有一个巨大的气象站传感器数据数据库。这些传感器可能损坏或具有奇数值。损坏的传感器会影响正在对这些数据进行的计算。

目标是使用机器学习来检测新的传感器值是否为奇数，如果是，则将其标记为损坏。如上所述，我是ML的新手。有没有人能把我推向正确的方向，或者给我的方法提供反馈。

数据有一个日期时间和一个值。传感器的值每小时被推送一次。

我感谢任何形式的帮助！

Answer 1

由于这个问题本质上是相当普遍的，我将提供一些基本的想法。也许你已经对它们有点熟悉了。

1. 设置了一个数据集，其中既包含损坏的传感器，也包含良好的传感器。这就是因变量。有了这个集合，您还可以使用一些变量来预测Y变量。让我们称它们为X。
2. 你训练一个模型来学习X和Y之间的关系。
3. 你根据你不知道结果的X值来预测Y会是什么。

下面是一些关于基础知识的有用见解：

https://www.youtube.com/watch?v=elojMnjn4kk&list=PL5-da3qGB5ICeMbQuqbbCOQWcS6OYBr5A

祝好运!

Answer 2

您可以使用隔离森林来检测异常读数。Twitter开发了一种名为ESD (Extreme Studentized )的算法也很有用。https://github.com/twitter/AnomalyDetection/

然而，需要一个良好的EDA (探索性数据分析)来定义由于传感器故障而在读数中发现的异常类型。

1)阶梯式趋势，其中值突然增加，并保持增加或减少

2)与其他传感器相比，值逐渐增加，并且突然非常高的增加

3)数据中的间歇性峰值