滤除相容时间序列数据的思路

Question

所以我有两个数据子集，代表两种情况。看起来更一致的那个需要过滤掉(它们是噪声)，而看起来随机的那个要保留下来(它们是运动)。我使用的方法是定义一个移动窗口= 10，每当窗口内数据的标准偏差小于某个阈值时，我就会抑制它们。然而，这种方法不能过滤掉所有的“一致”噪声，同时也伤害了不一致的噪声(真实运动)。我希望使用一些统计模型，而不是机器学习来实现这一点。如有任何建议，我们将不胜感激！noise real motion

Answer 1

Kolmogorov-Smirnov检验用于比较两个样本，以确定它们是否来自相同的分布。我意识到现实世界的数据永远不会是一致的。因此，我没有将噪声数据与均匀分布进行比较，而是使用scipy.stats.ks_2samp函数将任何突发与一个真实的运动突发进行比较。然后，如果返回的p值明显较小，我会将运动静音，这意味着我可以拒绝两个样本来自相同分布的假设。