我想将大约100万行的典型时间序列数据集转换为重叠50%的100项窗口。请注意,它是多元的,因此,例如,给出了8个功能和1000个带有100个条目的窗口,最终的形状将是(1000, 100, 8)代替(n_samples, n_timesteps, n_features)。目标是将其用于训练机器学习算法,包括深层神经网络。
到目前为止,我喜欢使用numpy的sliding_window_view,如下所示;
x = np.arange(100).reshape(20, 5)
v = sliding_window_view(x, (3, 5))
v不幸的是,当我在数百万行的大型数据集中耗尽RAM时,我就会崩溃。你有什么建议吗?
此外,一个严重的限制是,每个时间步骤(整数)都有一个连续的标签,根据这个标签,数据集需要按(使用pandas)分组,因此这限制了按部分读取数据集的一些选项。
发布于 2021-12-14 18:12:18
我想你是在找tf.data.Dataset。我正在处理一百万行数据集,下面的代码对我来说运行良好:
convert = tf.data.TextLineDataset("path_to_file.txt")
dataset = tf.data.Dataset.zip(convert)现在您已经初始化了dataset,但是不要进入内存问题:
def dataset_batches(ds, batch_size):
return (
ds
.cache()
.batch(batch_size)
.prefetch(tf.data.AUTOTUNE) )
# you can do more operations here
train_batches = dataset_batches(dataset, 64)要运行它,您必须循环:
for (batch, row) in enumerate(train_batche):
# do stuff
# batch = current batch (0, 1, 2, ...) so if your dataset has 1600 rows and you've used batch_size=16 you'll have 100 batches
# row is the actual data (tensor)https://stackoverflow.com/questions/70353605
复制相似问题