在AI平台上使用tensorflow_dataset库(CMLE)

Question

我正在使用mnist数据集的tesorflow_datasets库在GCP平台上进行训练。我使用的是tf.gan估计器。我已经编写了一个输入管道，它使用tfds库读取mnist数据。

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split, shuffle_files=self.shuffle)

我已经在实例上使用相同的'tensorflow_datasets‘库训练了我的gan模型，并且模型训练得很好。我已经将我的代码打包到包中，以便在AI平台上运行。在AI平台上训练期间，训练卡住了一个警告，它显示，

Dataset mnist is hosted on GCS. It will automatically be downloaded to your local data
directory. If you'd instead prefer to read directly from our public GCS bucket.

尽管训练停滞不前，但ML消耗的单位仍在不断增加。

Answer 1

'tensorflow_datasets‘库接受参数'data_dir’。如果你在GCP上使用这个库，建议使用'data_dir‘，它会在tensorflow数据集被上传的地方进行存储桶洗浴。

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split,shuffle_files=self.shuffle, \
     data_dir='gs://tfds-data/datasets')

希望这将是。您也可以查看此存储桶。它是一个包含数据集的公共存储桶。

gsutil ls gs://tfds-data/datasets/

您可以查看所有数据集

gs://tfds-data/datasets/
gs://tfds-data/datasets/downloads/
gs://tfds-data/datasets/groove/
gs://tfds-data/datasets/mnist/
gs://tfds-data/datasets/nsynth/
gs://tfds-data/datasets/wikipedia/