从SuperPixels中提取特征的最佳方法，如gabor和HOG特征

Question

我使用了slic聚类算法来创建生物医学图像的超像素(生物医学成像专家的整个幻灯片图像)。我想要提取不同的特征，纹理和空间，为超级像素创建一个特征表示，然后将其输入分类器(SVM，RF)，尝试和分类每个超像素，因为我有每个标签。最终的目标是对每个超像素进行分类，然后使用它来构建分割。

对于每个超像素，我在它周围画一个包围框，根据所有超像素的平均高度和宽度，在所有像素上都有一个一致的大小，因为尺寸的分布在平均值附近是相当高的(一些将有小部分被裁剪出来，而另一些则会包含一些填充。我有几个问题

1. 关于每个超像素的gabor滤波器，我得到了一个gabor特征，它的每个像素都有一个值，然后取这些像素的平均值，得到一个超像素gabor特征值。这样做对吗？代码如下

def getGabor(img，ksize，sigma，theta，lamda，gamma，l，ktype)：kernel=cv2.getGaborKernel(ksize，ksize)，sigma，theta，lamda，gamma，l，ktype=ktype) fimg = cv2.filter2D(img，cv2.CV_8UC3，核) filteredImage=fimg.reshape(-1)返回filteredImage def getGabors: ksize=5 thetas =list(lambda x: x*0.25*np.pi，1，2) gabors=[]表示θ中的θ:对于σin (1,3)：对于lamda in np.arange(0，np.pi，np.pi*0.25)：对于γin (0.05，0.5)：gabor = getGabor(img.reshape(-1)，ksize，sigma，theta，lamda，gamma，0，cv2.CV_32F)。gabors.append(np.mean(gabor))返回gabors

• ，这将如何与猪一起工作？我是否会采取同样的方法来平均特征向量，以及如何避免HOG描述符太大？

• 是否明智地将超像素输入到CNN中，以了解任何人在对其他有用的图像特征描述符提出建议之前就使用过这类数据的特性？

任何关于构建功能或哪种类型的功能来寻找超级像素的建议都是非常感谢的！

谢谢

Answer 1

我不知道医学图像分割的最新进展是什么，但是在所有深入学习模型出现之前，超级像素、HOG和gabor听起来确实像2012年前的特色工程方法。结果将在很大程度上取决于超级像素分割图像的方式(可能不太健壮)。

为什么不使用最近的图像分割CNN，如DeepLab (https://github.com/tensorflow/models/tree/master/research/deeplab)？只需向它提供分割的训练示例(诚然，其中很多是这样的)，看看模型本身是否了解了正确的特征。这种情况发生的可能性很大。