CNN-VAE，处理大小不同但像素分辨率相同的数据集的最佳实践。

Question

我知道已经提出了很多解决方案来训练一个输入大小可变的CNN，但是我所面临的情况是不同的：

我的数据集由单细胞图像组成，它们都是相同的像素分辨率(0.31x0.31m)，但大小不同(在单元格分割后从单元格群图像中进行裁剪)。此外，我正在为多种学习目的实现一个VAE。

因此：

• 使用完全卷积网络或使用AdaptiveAvgPooling (或相当于不同的深度学习框架而不是pytorch)不是解决方案。这对于编码部分来说确实是微不足道的，但是VAE的解码部分将不得不检索输入的原始大小--据我所知--这是不可能的。
• 通常建议将所有图像调整为给定的形状，但是:由于所有数据集的像素分辨率相同，尽管大小不同，元素/特征仍处于相同的比例。我预计调整大小会使信息严重恶化。细胞之间的大小差异是有意义的(由于形态学的变化)，所有其他特征仍处于相似的尺度上。
• 我唯一能找到的解决方案是将所有图像都裁剪到给定的大小。
• 多尺度的训练可能没什么用，因为CNN可以把注意力集中在给定的尺度上，因为所有的数据都有相同的像素分辨率。

我的问题是：

• 有没有人面对过这种情况？我是不是错过了另一种更好的方法？
• 如果没有，零填充是否可以完成这项工作，它是否会恶化VAE的学习？网络将需要学习，对于一些图像，很大一部分需要被忽略，而不是对其他图像。一些单细胞图像最终只能在填充图像的一小部分中表示。细胞在填充图像中的位置可能保持为潜在特征，但与此无关。

非常感谢你的帮助

Answer 1

您可以尝试以下技术：

• 使用rescale制作所有大小相同的图像。您曾写道：“由于所有数据集的像素分辨率相同，尽管大小不同，但元素/特征的比例是相同的。我预计调整大小会严重恶化信息。”这是正确的，因为CNN不是刻度不变的，但是有许多技术可以克服这个问题，例如请参阅用于目标检测的特征金字塔网络。
• 使用零填充使所有大小相同的图像。这将是最简单的方法，因为你不需要改变架构，零填充被用来控制CNN内部表示的收缩，零填充输入可能导致负面的副作用，但是值得一试。如果所有的图像都有相同的背景色(例如，如果你使用X射线图像)和背景颜色相同的零衬垫，我建议使用这种技术。