首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在没有内存错误的情况下加载大型时间序列窗口数据集?

问如何在没有内存错误的情况下加载大型时间序列窗口数据集?
EN

Stack Overflow用户
提问于 2021-12-14 18:05:40
回答 1查看 121关注 0票数 0

我想将大约100万行的典型时间序列数据集转换为重叠50%的100项窗口。请注意,它是多元的,因此,例如,给出了8个功能和1000个带有100个条目的窗口,最终的形状将是(1000, 100, 8)代替(n_samples, n_timesteps, n_features)。目标是将其用于训练机器学习算法,包括深层神经网络。

到目前为止,我喜欢使用numpy的sliding_window_view,如下所示;

代码语言:javascript
复制
x = np.arange(100).reshape(20, 5)
v = sliding_window_view(x, (3, 5))
v

不幸的是,当我在数百万行的大型数据集中耗尽RAM时,我就会崩溃。你有什么建议吗?

此外,一个严重的限制是,每个时间步骤(整数)都有一个连续的标签,根据这个标签,数据集需要按(使用pandas)分组,因此这限制了按部分读取数据集的一些选项。

EN

回答 1

Stack Overflow用户

发布于 2021-12-14 18:12:18

我想你是在找tf.data.Dataset。我正在处理一百万行数据集,下面的代码对我来说运行良好:

代码语言:javascript
复制
convert = tf.data.TextLineDataset("path_to_file.txt")
dataset = tf.data.Dataset.zip(convert)

现在您已经初始化了dataset,但是不要进入内存问题:

代码语言:javascript
复制
def dataset_batches(ds, batch_size):
  return (
      ds
      .cache()
      .batch(batch_size)
      .prefetch(tf.data.AUTOTUNE) )
      # you can do more operations here

train_batches = dataset_batches(dataset, 64)

要运行它,您必须循环:

代码语言:javascript
复制
for (batch, row) in enumerate(train_batche):
   # do stuff
   # batch = current batch (0, 1, 2, ...) so if your dataset has 1600 rows and you've used batch_size=16 you'll have 100 batches
   # row is the actual data (tensor)
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70353605

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档