语义分割还是对象检测？

Question

我正在做一个项目，我试图检测和跟踪羊群和山羊。我在使用语义分割还是对象检测的问题上进退两难。大量的绵羊/山羊相互接近，在一个框架内平均有80~90只羊/山羊。你认为哪一个最适合我的问题？

另外，您有推荐的型号吗？(第一优先是准确性。)

Answer 1

语义分段对您没有好处：-segmentation是将图像中的每个像素标记为它的语义类。。因此，框架内的所有山羊都有相同的标签“山羊”，所有的绵羊都有同样的标签“绵羊”。

在这个任务中，您可能考虑的是Instance-segmentation：，其目标不仅是将每个像素与其语义类(如语义分段)关联起来，而且还可以将同一类的不同实例分开。在您的示例中，良好的语义分割不仅能够将所有山羊像素标记为“山羊”，而且能够准确地将帧中的不同山羊分开。

一种非常流行的语义分割方法是面具-RCNN：它基本上是一个两阶段系统。首先，它检测不同的对象，然后为每个单独的边界框提供分段掩码。这可能是项目的一个很好的起点:它将允许您根据模型的检测或实例分段输出来比较计数。

Answer 2

COCO有一个绵羊类(class_id=20)，因此您应该能够在COCO数据集上使用预先训练过的对象检测模型。

然后，计算使用class_id=20标记的对象的数量。

Tensorflow Hub有很多像这样的预先训练过的模型。例如，FasterRCNN+InceptionResNet V2具有更高的精度，或者ssd+mobilenet V2更小、更快。