如何在Keras上格式化训练输入和输出数据

Question

我是深度学习的新手，我在Keras上遇到了一些数据格式的问题。我的CNN是基于A.Newell等人的Stacked Hourglass Networks for Human Pose Estimation。

在这个网络上，输入是256x256的RGB图像，输出应该是突出显示身体关节(肩、膝等)的64x64热图。我设法建立了网络，我有所有的数据(图像)及其注释(身体关节的像素标签)。我想知道如何格式化训练集的输入和输出数据来训练我的模型。目前，我对图像使用numpy数组(256,256,3)，但我不知道如何格式化输出。我应该创建表n,64,64,7吗？(n是训练集的大小，7是我用来获得7个关节的热图的过滤器的数量)

谢谢您抽时间见我。

Answer 1

输出也可以是numpy数组。考虑这个例子: Training set: 50幅大小为256x256x3的图像。这可以组合成形状(50,256,256，3)的单个numpy数组。类似的格式化输出数据的方法。示例代码如下：

    #a, b and c are arrays of size 256x256x3
    import numpy as np

    temp = []
    temp.append(a)
    temp.append(b)
    temp.append(c)
    output_labels = []
    output_labels = np.stack(temp)

output_labels阵列的形状为(3x256x256x3)。

Answer 2

Keras建议创建数据生成器，将训练数据和基本事实提供给网络。具体到堆叠式沙漏网络的情况，您可以参考我的实现来了解详细的https://github.com/yuanyuanli85/Stacked_Hourglass_Network_Keras/tree/master/src/data_gen