高分辨率图像分类

Question

通常，像VGG16 / Inception等经过预先训练的网络以低分辨率工作，比如<500 pre。

是否有可能在预培训的 VGG16 /盗梦空间的第一层之前添加一个或两个高分辨率卷积层，以使网络能够消耗高分辨率图片？

据我所知，第一层最难训练，它需要大量的数据和资源来训练它。

我想知道是否有可能冻结预先培训的网络，只在普通GPU卡和大约3000个例子上训练新附加的高分辨率层？能在几个小时内完成吗？

此外，如果你知道任何例子，如何使用高分辨率图像进行图像分类，请分享该链接。

附注：

通常的降尺度方法的问题是，在我们的例子中，微小的细节，如微小的裂缝或微小的污垢点是非常重要的，它们在低分辨率图像上丢失。

Answer 1

这是不可能的，你将不能冻结一个预先训练的网络，然后只是添加额外的层开始不幸，因为最初的层需要三个通道输入，并被设计为识别图像中的特征。

相反，您可以尝试修改网络的体系结构，以便初始层在使用池或跨步缩小缩放之前，确实接受1024x1024图像。

例如，您可以尝试将初始空间V3的Slim模型定义中的第一个conv层调整为8而不是2：v3.py。

这将允许您在4倍大的图像中阅读，同时保持网络的其他部分不变。我希望你需要做一个全面的再培训，尽管不幸。

Answer 2

要将经过训练的ImageNet模型应用于您的问题，您可以考虑在后端而不是前端放置新的层。ImageNet CNN模型中的第一层被训练用于检测“通用”低水平特征(水平/垂直/对角线边缘、颜色斑点等)。这些卷积层不需要固定的图像大小(图像通常被调整为公共尺寸，因为图像中对象的预期规模和/或容纳完全连接层的尺寸)。

因此，您可以尝试将第一个N卷积层保持为-is，然后添加要为您的数据集进行培训的自定义层。在对自定义层进行培训之后，您可以决定是否有必要解冻现有的ImageNet层并对其进行更新。