如何在Tensorflow中加载一个非常大的组件并创建小型批处理？

Question

我有一个被python代码写入磁盘的hdf5文件(我只有文件，没有代码)。该文件的大小为90 in，该文件中的数据具有以下格式：(N，250,360,3)。顺便说一句，这些数据不能放入内存中。

现在，我想用Tensorflow编写一个数据加载器，每次只从这个文件加载M个样本(M远小于N)。

做这件事最好的方法是什么？任何指向代码的指针都将受到高度赞赏。

谢谢。J

Answer 1

Tensorflow MNIST教程展示了如何做到这一点：https://www.tensorflow.org/tutorials/mnist/beginners/

如果您查看Github上的实现，您将看到它使用next_batch函数一次读取批次的输入100。

next_batch在这里的实现：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/learn/python/learn/datasets/mnist.py#L160

您需要为您的数据集实现类似的东西。我对HDF5并不特别熟悉，但是您可以使用任何Python库来进行加载；它不必是特定于Tensorflow的。

希望这能帮上忙！