用于人体活动识别的光流图像预训练模型

Question

我正在从事人类活动识别的工作，其中我使用的是双流网络。对于时间流(光流作为输入)，我从头开始训练我的模型，这需要大量的资源和时间。我决定在Keras应用程序中使用预训练模型来使用迁移学习，但keras应用程序中的每个模型都使用3通道输入形状，其中光流是1通道图像。有人能指导我如何使用预训练模型来拟合使用光流图像作为输入的时间流模型吗？

Answer 1

您不能更改预训练模型的体系结构，因为它已经通过相同的体系结构进行了学习。但是，您可以将1通道数据转换为3通道数据，然后将其提供给网络。有很多方法可以做到这一点。

例如，一种方法是使用tf.image.grayscale_to_rgb()将灰度图像转换为RGB。

data_1channel = tf.constant([[[1.0], [2.0], [3.0]]])
print(data_1channel.shape)   #(1,3,1)

data_3channel = tf.image.grayscale_to_rgb(data_1channel)
print(data_3channel.shape)   #(1,3,3)

或者，您可以使用tf.concat()将图像作为图层重复3次：

data_1channel = tf.constant([[[1.0], [2.0], [3.0]]])
print(data_1channel.shape) #(1,3,1)

data_3channel = tf.concat([data_1channel,data_1channel,data_1channel],axis=2)
print(data_3channel.shape) #(1,3,3)