减少/简化时间序列数据

Question

我希望简化时间序列数据(减少点的数量，同时保持图形的形状不变)。例如，如果我有这个数据集：

Time: 1, Value: 5
Time: 6, Value: 5
Time: 11, Value: 5.1
Time: 12, Value: 5
Time: 20, Value: 5.2
Time: 22, Value: 6
Time: 23, Value: 10

容差为.5的简化版本如下所示：

Time: 1, Value: 5
Time: 20, Value: 5.2
Time: 22, Value: 6
Time: 23, Value: 10

我知道用于GIS数据的Douglas-Peucker算法，但我不确定如何将其应用于时间序列数据，因为轴具有不同的单位。如果我能在数据库中完成这一切，那就太棒了。

Answer 1

我不知道有什么内置的函数可以做到这一点。下面的查询可能会完成以下工作：

WITH x AS (
    SELECT t, val
          ,@(lead(val) OVER w - val) AS delta1
          ,@(lag(val)  OVER w - val) AS delta2
    FROM   tbl
    WINDOW w AS (ORDER BY t)
    ORDER  BY t
    )
SELECT t, val
FROM   x
WHERE  delta1 > 0.2
   OR  delta2 > 0.2
   OR  delta1 IS NULL
   OR  delta2 IS NULL;

我在CTE中使用window functions lead() and lag()和absolute value operator @来计算增量(应该是最快的)。

只有那些增量中至少有一个大于0.2 (与您的示例匹配的任意阈值)的行才会被保留。

第一行和最后一行是delta1或delta2为NULL的特殊情况(没有前导/滞后行)。我们希望在任何情况下都包含这些行，因此我在最终的SELECT中添加了空检查。

生成您请求的结果。

另一种变体专注于方向变化的程度：

WITH x AS (
    SELECT t, val
          ,@(lead(val) OVER w + lag(val) OVER w - 2*val) AS deviate
    FROM   tbl
    WINDOW w AS (ORDER BY t)
    ORDER  BY t
    )
SELECT t, val, deviate
FROM   x
WHERE  deviate > 0.2
   OR  deviate IS NULL;

这应该会更紧密地保留形状。此示例保留行Time: 12, Value: 5并避免您在注释中描述的效果。(您在问题中的示例并不指向此方向。)

Answer 2

Ramer Douglas Peucker会在这里工作-单位应该是一个问题。