使用本地数据的EC2上的训练模型

Question

我正在使用亚马逊的亚马逊EC2实例来训练我的图像分类器(cnn)。我有一个大约200k图像的数据集，scp -ing它所有的实例似乎效率低下，特别是随着数据集的增长。有没有一种方法可以在指向本地计算机上的数据集目录的同时在EC2实例上训练模型。

例如，如果我在本地训练我的模型，我会使用类似这样的东西来开始训练：

python retrain.py  \
    --image_dir /Users/vivek/Desktop/Data2Compress/\
   --learning_rate=0.001 \
    --testing_percentage=20 \
    --validation_percentage=20 \
    --train_batch_size=32 \
    --validation_batch_size=-1 \
    --flip_left_right True \
    --random_scale=30 \
    --random_brightness=30 \
    --eval_step_interval=100 \
    --how_many_training_steps= 100000 \
    --architecture mobilenet_1.0_224 

在EC2上运行训练时，有没有办法将image_dir参数调整为指向本地存储的数据集？

Answer 1

即使有一种方法可以在指向本地目录的同时训练模型，您仍然会处于数据最终必须传输的情况下。您是否考虑过将数据集上传到S3存储桶，然后从存储桶复制到EC2实例？

然后，您仍然需要初始上传，但不必每次启动新的EC2实例进行新的训练会话时都重新上传，并且从存储桶到实例的复制将比从本地计算机复制到实例快得多。