Tensorflow:连接多个tf.Dataset非常慢

Question

我在Tensorflow 1.10上

现在我不确定这是不是一个bug。

我一直在尝试连接我从多个tf.data.Dataset.from_generator生成的大约100个数据集。

for i in range(1, 100):
        dataset = dataset.concatenate(
            tf.data.Dataset.from_generator(gens[i], (tf.int8, tf.int32), output_shapes=(
                (256, 256), (1))))
        print(i)
 print("before iterator")
 iterator = dataset.make_one_shot_iterator()
 print("after iterator")

运行make_one_shot_iterator()需要很长时间。

有谁知道解决办法吗？

编辑：

看起来_make_dataset.add_to_graph(ops.get_default_graph())似乎被一次又一次地调用，导致了几百万次函数调用。(https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/data/ops/dataset_ops.py函数make_one_shot_iterator第162行)

Answer 1

对于像这样的多个张量或生成器，运行concatenate实际上不是最好的做法。

更好的方法是使用flat_map https://www.tensorflow.org/api_docs/python/tf/data/Dataset#flat_map。我已经更新了示例一段时间，以展示如何将其用于多个张量或文件。