如何在Keras中执行cross_modality_pretrained :设置不同的形状权重

Question

我正在用keras做cross_modality_pretrain。我使用InceptionResNetv2预训练模型，并得到conv2d_1的权重，其形状为(3 3 3 32) (高度，宽度，通道，输出)

model_base = InceptionResNetV2(include_top=False, weights='imagenet')

weight = model_base.get_weights()
weight_conv2d_1 = weight[0]
weight_conv2d_1 = np.mean(weight_conv2d_1, axis=2, keepdims=True)

我将其更改为(3 3 20 32)

for i in range(20):
    if i == 0:
        weight_change = np.concatenate((weight_conv2d_1,), axis=2)
    else:
        weight_change = np.concatenate((weight_change, weight_conv2d_1), axis=2)

现在，我想设置新的权重，

weight[0] = weight_change
model_base.set_weights(weight)

但是，我得到了错误：

ValueError: Cannot feed value of shape (3, 3, 10, 32) for Tensor u'Placeholder:0', which has shape '(3, 3, 3, 32)'

我该怎么解决它呢？谢谢!

Answer 1

首先，错误是set_weight输入应该具有相同的get_weight形状，但是它们是(3 3 3 32)和(3 3 2 0 32)。

其次，我尝试通过更改模型配置参数model.weights()来解决这个问题，将模型配置参数从(3 3 3 32)更改为(3 3 2 0 32)。model.weights()return list[tf.Variable < shape (3 3 3 32)>].In python，类型list是可变的，但是我失败了，我无法更改它。我该怎么解决它呢？谢谢！

最后，通过Model.from_config()，通过model.get_config获取配置参数，对配置参数进行修改并重建新模型，从而解决了这个问题。