基于流数据的TSS计算

Question

TSS是以(x - mean) **2的形式计算的，如果所有的数据都很容易获得，就很容易计算。但是在我的例子中，数据是连续的，我需要计算这些数据上移动的TSS。例如，假设整个数据是x=np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])。但是这些数据是分批传输的，如下所示：

batch1: [1, 2, 3]
batch2: [4, 5, 6, 7]
batch3: [8, 9, 10]

在这种情况下，如何计算移动的TSS？任何符合逻辑的解释以及解决方案都将不胜感激。

Answer 1

可以在每个步骤中将每个批处理添加到累积数组中：

cum_array = numpy.concatenate((cum_array, batch))

然后计算TSS如下：

tss = (cum_array - numpy.mean(cum_array))**2

每次都会重写TSS数组。如果您只是想添加新计算的值，则需要如下所示：

cum_array = numpy.concatenate((cum_array, batch))
tss = numpy.concatenate((tss, numpy.zeros_like(batch)))
tss[-batch_len:] = (cum_array[-batch_len:] - numpy.mean(cum_array))**2

编辑:如果您只想在每个批次结束时为TSS提供一个值，您可以这样做：

running_total += numpy.sum(batch)
N += len(batch)
tss = (batch[-1] - running_total/N)**2