解释如何在CNN中使用热图进行人群计数？

Question

我是神经网络的新手，通过阅读，我经常遇到在网络中使用热图以及数据集提供的基本事实来评估网络性能的准确性(据我所知)。

具体地说，考虑人群密度估计网络的应用，数据集提供人群图像，每个图像都有一个对应的地面实况.mat文件，该文件具有:表示图像中人头外观的X和Y坐标矩阵。图像中人头的总数(人群计数)，等于矩阵行数。我目前的理解是，一个图像将通过网络，结果将与给定的地面实况(无论是头部位置，还是人群数量)进行比较，那么，如何以及在哪个点使用人群密度图或热图？我们是否在训练时为图像生成一个，并将其与根据地面事实生成的图像进行比较？这是怎么做的？

我读过的所有论文都忽略了对这一过程的描述。任何清晰的解释都将不胜感激。

Answer 1

您所描述的按密度计数的CNN方法是完全卷积回归网络，其中输出是密度(热图)。这意味着训练地面实况数据也是一个密度图。通常，MSE损失用于训练。地面实况密度图通常是根据头部检测地面实况预先计算的。例如，如果你查看MCNN code preparation folder，你会发现get_density_map_gaussian.m文件，它从地面实况注释头部执行密度估计。