Tensorflow -使用block_lengths从多个tfrecords记录读取不同的parallel_interleave？

Question

我正试着阅读三种不同长度的大to记录，它们都是并行的，如下所示：

files = [ filename1, filename2, filename3 ]

data = tf.data.TFRecordDataset(files)

data = data.apply(
    tf.contrib.data.parallel_interleave(
        lambda filename: tf.data.TFRecordDataset(data),
        cycle_length=3,block_length = [10,5,3]))

data = data.shuffle(
    buffer_size = 100)

data = data.apply(
    tf.contrib.data.map_and_batch(
        map_func=parse, 
        batch_size=100))

data = data.prefetch(10)

，但是TensorFlow不允许每个文件源有不同的块长度：

InvalidArgumentError: block_length must be a scalar

我可以用不同的小批处理大小创建三个不同的数据集，但这需要3倍的资源，而这不是我的机器限制所提供的选项。

可能的解决办法是什么？

Answer 1

这是答案，我想出了如何在我的约束范围内做到这一点。

为每个文件创建数据集，为每个文件定义每个小批大小，并将get_next()输出连接在一起。这适合我的机器，并有效地运行。