如何在Python训练代码中加载顶点AI管理数据集的图像？

Question

我试图创建一个自定义培训工作在顶点AI。我创建了一个托管数据集，存储在我要将培训代码导出到的桶中。我有一个Python代码，如下所示：

#Defining paths 
TRAIN_PATH = os.environ['AIP_TRAINING_DATA_URI']
VAL_PATH = os.environ['AIP_VALIDATION_DATA_URI']

#skipped model definition#

train_datagen = image.ImageDataGenerator(rescale = 1./255, shear_range = 0.2,zoom_range = 0.2, horizontal_flip = True)

test_dataset = image.ImageDataGenerator(rescale=1./255)

train_generator = train_datagen.flow_from_directory(
    TRAIN_PATH,
    target_size = (224,224),
    batch_size = 32,
    class_mode = 'binary')
validation_generator = test_dataset.flow_from_directory(
    VAL_PATH,
    target_size = (224,224),
    batch_size = 32,
    class_mode = 'binary')

hist_new = model.fit(
     train_generator, ...)

问题是，如何加载图像以便ImageDataGenerator能够使用它们？在开始培训工作时，我遇到的错误是：

 No such file or directory: 'gs://(bucket name)/dataset-5820440723492700160-image_classification_multi_label-2022-05-29T10:53:33.245485Z/training-*'

Answer 1

TRAIN_PATH和VAL_PATH似乎应该是有效的本地路径( TF 文档没有提到其他路径)，而不是GCS。数据集在指定的GCS上可用，但是培训代码应该将数据集映像从GCS下载到本地环境，然后将它们传递给ImageDataGenerator。

有关从GCS下载数据集的信息，请参阅此文档。

Answer 2

如果您在顶点上使用自定义培训容器，您可以在FUSE文件系统上使用gcs，您不必自己安装，在运行CustomJob时，顶点平台会处理这个问题，只需将路径作为文件读取：

'/gcs/(bucket name)/dataset-5820440723492700160-image_classification_multi_label-2022-05-29T10:53:33.245485Z/training-*'