基于未见类的conv网络数据检索

Question

我已经为图像分类建立了一个“很好”的conv网络。

现在，我从最后一个完全连接的层中提取特征，并使用hamming距离进行图像检索(查找与目标图像最相似的图像)。它工作得很好，即使我无法预测它将如何旋转不变，对噪音敏感.

我尝试了图像检索，只有在课堂上，我的模型已经看到了，同时训练(但没有训练数据)。你知道它是否能在训练时从未被模特看到过的课堂上工作吗？

e.g

让我们说模型已经在汽车和卡车上进行了训练。我想找到与那辆黄色小车最相似的图像，它工作得很好，它还我黄色和小型车。

现在让我们想象一下，我把它应用到了一个新的平面数据集上。我想找到和那架黄色小飞机最相似的图像。我应该去找一架黄色的小飞机还是完全随机的？

由于网络从来没有在训练中看到过平面，是否有可能预测，或者至少有一个直觉，结果呢？

Answer 1

那得看情况。让我解释一下，当你训练一个分类模型时，会检测到什么特征。

让我们以你们的例子为例--汽车和卡车分类。CNN将从两种类型的图像中提取特征-轮胎、窗户、形状、纹理等。

然后，它将分离的特点--如果它看到更大的轮胎，更大的窗户，矩形的形状，它将给予更多的重量卡车类。同样也适用于汽车类。

现在到你的图像检索部分。这就是你要做的--通过CNN传递所有的图像，并为每一张图像提取特征。然后将您的测试图像功能与其他功能进行比较，以找到最相似的功能。

现在想想，如果你把新的图像传递给同样的CNN呢？什么特征将被提取。

CNN将提取与过去相同的特征，用于汽车和卡车轮胎、窗户、形状等，因为它只是为此而训练的。它不会开始提取翅膀作为特征，如果你通过飞机。

因此，如果你通过飞机作为测试图像-相同的特征，汽车和卡车将被提取，你将得到的结果，根据这些特征的比较。因此，如果你通过黄色的小飞机，你可能会得到黄色的小轿车有相同的轮胎尺寸，你的飞机或黄色小卡车的形状类似于你的飞机，或在最好的情况下，黄色小飞机。