Frame windowing vs Series的性能问题

Question

我使用的是c#的Deedle，与系列中的相同操作相比，通过帧进行窗口操作非常慢。例如，对于类似大小的序列和帧，我看到的是60ms和3500ms (序列和帧)。

以前有没有人见过这个？

var msftRaw = Frame.ReadCsv(@"C:\Users\olivi\source\repos\ConsoleApp\MSFT.csv");
var msft = msftRaw.IndexRows<DateTime>("Date").SortRowsByKey();

var rollingFrame = msft.Window(60); // 7700 ms

var openSeries = msft.GetColumn<double>("Open");
var rollingSeries = openSeries.Window(60); // 14 ms

var oneSeriesFrame = Frame.FromColumns(new Dictionary<string, Series<DateTime, double>> { { "Open", openSeries } });
var rollingFakeFrame = oneSeriesFrame.Window(60); // 3300mm

在处理金融时间序列数据时，这是相当常见的操作，例如计算价格之间的滚动相关性，或者在另一个价格时间序列上存在条件时计算滚动已实现波动率。

Answer 1

我找到了一个解决性能问题的方法:分别对每个系列执行滚动操作，将滚动系列连接到一个帧中，以便它们按日期对齐，并在帧上编写处理函数，在处理函数中选择每个系列。

从上面的例子继续：

private static double CalculateRealizedCorrelation(ObjectSeries<string> objectSeries)
{
    var openSeries = objectSeries.GetAs<Series<DateTime, double>>("Open");
    var closeSeries = objectSeries.GetAs<Series<DateTime, double>>("Close");
    return MathNet.Numerics.Statistics.Correlation.Pearson(openSeries.Values, closeSeries.Values);
}

var rollingAgg = new Dictionary<string, Series<DateTime, Series<DateTime, double>>>();
foreach (var column in msft.ColumnKeys)
{
    rollingAgg[column] = msft.GetColumn<double>(column);
}

var rollingDf = Frame.FromColumns(rollingAgg);
var rolingCorr = rollingDf.Rows.Select(kvp => CalculateRealizedCorrelation(kvp.Value));