通过加载不同的numpy文件来训练keras模型

Question

我有多个numpy文件，我想把它们都包括在培训中。我想知道是否有可能在同一时期加载非标文件并继续进行培训？下面是我的工作代码。目前，它正在对一个加载的numpy文件进行培训。

   ####################################  Load Data #####################################3
patches_imgs_train  = np.load('patches_imgs_train_3.npy')
patches_masks_train = np.load('patches_masks_train_3.npy')

patches_imgs_train = np.einsum('klij->kijl', patches_imgs_train)
patches_masks_train = np.einsum('klij->kijl', patches_masks_train)


print('Patch extracted')

#model = M.unet2_segment(input_size = (64,64,1))
model = M.BCDU_net_D3(input_size = (128,128,1))
model.summary()

print('Training')

nb_epoch = 30

mcp_save = ModelCheckpoint('weight_lstm.hdf5', save_best_only=True, monitor='val_loss', mode='min')
reduce_lr_loss = ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=7, verbose=1, epsilon=1e-4, mode='min')

history = model.fit(patches_imgs_train,patches_masks_train,
              batch_size=batch_size,
              epochs=nb_epoch,
              shuffle=True,
              verbose=1,
              validation_split=0.2, callbacks=[mcp_save, reduce_lr_loss] )

Answer 1

如果您有足够的内存，可以简单地在model.fit之前加载额外的数组，然后将所有数组连接起来作为输入数据。否则，我建议使用keras.utils.Sequence类来生成输入数据。