如何使用深度学习算法在未标记的数据集中对图像*样式*进行聚类？

Question

我有个难题，我很想听听别人的想法。我有一套形象，描绘了各种各样的现象，但只有几种风格。这些图像已经被标记为现象，而不是风格。图像样式之间的区别很大程度上取决于使用什么技术来产生图像。我们希望使用一种聚类算法来分离不同的样式。

对于一个类似的问题，想象一下，你有一个非常大的绘画数据集，但是有许多不同的主题，而且只有几种风格。进一步想象一下，你不在乎这幅画的主题是什么，只关心它的文体特征(例如水彩画对油画与丙烯酸，写实与摄影与印象主义与表现主义)。你怎么能尝试“告诉”一个深入学习的算法来强调这些风格特征而不是画的主题，而不使用任何标签呢？

Answer 1

您可以使用经过预先训练的模型，提取特征，并尝试基于这些特征对图像进行聚类。成功取决于您想要区分的“样式”(以及派生的特性是否代表不同的样式)。我也遇到了类似的问题，我使用Kerans和VGG16特性来使用KNN对图像进行聚类。在Github上找到我的Python代码。

Answer 2

如果您使用预先训练的模型，它通常会被训练为对象检测/分类，因此它所提取的特征被精确地优化以独立于样式。它应该检测一辆汽车的水彩画和油漆。所以我认为这不太可能奏效。

您需要一个模型来将您的图像转换为一个非常不同的图像在同一样式中是紧密结合在一起的表示。然后，你可以运行一个聚类算法，像K-方法，以找到质心，这是你的风格原型。

为了得到这种模式，我看不出没有某种监督(手动标签)你怎么能做得到。所以你尽可能多地标注图像，并把它作为一个多类分类问题来处理，使用一个网络来生成一个表示(使用卷积层)和一些完全连接的层来进行分类。然后删除分类层，然后在表示上运行k-方法。