为什么目标检测需要图像分割？

Question

像SLIC这样的图像分割算法有什么意义？大多数目标检测算法都适用于整组(正方形)子图像。

分割图像唯一可以想象的好处是，现在，分类器有可用的形状信息。是那么回事吗？

我知道的大多数分类器都采用矩形输入图像。哪些分类器允许您将可变大小的图像段传递给它们？

Answer 1

首先，SLIC，以及我猜你提到的那种算法，不是分段算法，而是oversegmentation算法。这两个术语是有区别的。分割方法将图像分割为目标图像，而过分割方法将图像分割为小簇(具有相似特征的空间邻接像素组)，这些聚类通常称为超像素。请参见以下超像素的图像**：

​

​

现在，回答你最初问题的部分内容：

为什么要使用超像素？

• --它们降低了数据的维度/问题的复杂性。从N = w x h像素到M超级像素，使用M << N。对于由N = 320x480 = 153600像素组成的图像，M = 400或M = 800超级像素似乎足以将其过度分割。现在，让后一种方法来对它们进行分类，只需考虑一下您的问题变得多么容易，从N=100K减少到N=800培训示例来训练/分类。这些超像素仍然正确地表示您的数据，因为它们坚持图像边界。
• 允许您计算更复杂的特性。对于像素，您只能计算它们上的一些简单统计信息，或者使用过滤器组/特征提取器来提取其附近的一些特征。然而，这在本地表示像素的邻域，而不考虑上下文。使用超像素，您可以从属于它的所有像素计算超像素描述符。这就是说，特征通常像以前一样在像素级计算，但是，特征通过不同的方法合并到一个超像素描述符中。其中一些方法是:一个超像素内所有像素的简单平均值，直方图，单词袋，相关性。作为一个简单的例子，假设你只考虑灰度作为你的图像/分类器的一个特征，如果你使用简单的像素，你所拥有的只是像素的强度，这是非常局部和有噪音的。如果使用超像素，则可以计算内部所有像素的强度直方图，这比单个局部强度值更好地描述了区域。
• 允许您计算新的功能。在超像素上，您可以计算一些区域统计数据(一阶为均值、方差或二阶协方差)。您现在可以提取一些以前没有的其他信息(例如形状、长度、直径、面积.)。

如何使用它们？

1. 计算像素特征
2. 将像素特征合并为超像素描述符
3. 分类/优化超像素描述符

在步骤2.中，无论是通过平均、使用直方图还是使用单词袋模型，超像素描述符都是计算固定大小的(例如，100箱的直方图)。因此，最后您已经将X = N x K训练数据(N = 100K像素乘以K特性)缩减为X = M x D (具有M = 1K超像素，D是超像素描述符的长度)。通常是D > K但是M << N，因此您具有一些区域/更健壮的特性，它们以较低的数据维度更好地代表了您的数据，这是很好的，并且降低了问题的复杂性(分类、优化)，平均为2-3个数量级！

结论

您可以计算更复杂(健壮)的特性，但是您必须小心如何、何时和什么时候使用超像素作为数据表示。您可能会丢失一些信息(例如，您失去了2D网格)，或者如果您没有足够的训练示例，您可能会使问题变得更加困难，因为特征更加复杂，并且可能会将一个线性可分离的问题转化为一个非线性问题。

** SLIC超像素图像：http://ivrl.epfl.ch/research/superpixels