什么是“语义切分”与“切分”和“场景标注”？

Question

语义切分只是一种拼凑，还是“语义切分”和“切分”之间的区别？“场景标记”和“场景解析”有什么区别吗？

像素级和像素级分割的区别是什么？

(旁白:当您有这种像素级注释时，您是免费获得对象检测，还是仍然有什么可做的？)

请给出你的定义的来源。

使用“语义分段”的源

• 乔纳森·朗，埃文·谢哈默，特雷弗·达雷尔：用于语义分割的全卷积网络。CVPR，2015年和PAMI，2016年
• Hong，Seunghoon，Hyeonwoo Noh和Bohyung Han：“用于半监督语义分割的解耦深神经网络”，arXiv预印件arXiv:1506.04924，2015年。
• V. Lempitsky，A. Vedaldi和A. Zisserman:一种用于语义分割的塔架模型。“神经信息处理系统进展”，2011年。

使用“场景标记”的源

• 书名/作者: LeCun：学习场景标注的层次特征.“模式分析和机器智能”，2013年。

使用“像素级”的源

• Pinheiro，Pedro O.和Ronan Collobert：“从图像级到像素级标记和卷积网络。”IEEE计算机视觉和模式识别会议记录，2015年。(见http://arxiv.org/abs/1411.6228)

使用“像素级”的源

• 李洪生、赵锐和王晓刚：“卷积神经网络用于像素级分类的高效正向和反向传播”，arXiv预印件arXiv:1412.4526，2014年。

Google Ngram

“语义分割”似乎比“场景标记”更多地被使用。

​

​

Answer 1

"segmentation"是将图像分割成几个“连贯”的部分，但不试图理解这些部分所代表的内容。最著名的作品之一(但肯定不是第一部)是Shi“规范化切割和图像分割”PAMI 2000。这些作品试图用颜色、纹理和边界平滑等低级线索来定义“一致性”。您可以将这些作品追溯到格式塔理论。

另一方面，“语义分割”尝试将图像划分为语义上有意义的部分，并将每个部分分类为一个预先确定的类。您还可以通过对每个像素(而不是整个图像/片段)进行分类来实现相同的目标。在这种情况下，您正在进行像素级分类，这将导致相同的结果，但在一个稍微不同的路径.

所以，我想你可以说“语义分割”、“场景标记”和“像素级分类”基本上都是为了达到相同的目标:从语义上理解图像中每个像素的作用。您可以采取许多途径来达到这个目标，而这些路径会导致术语上的细微差别。

Answer 2

我读了很多关于目标检测、目标识别、对象分割、图像分割和语义图像分割的论文，我的结论可能是不正确的：

对象识别:在给定的图像中，您必须检测所有对象(受限制的对象类取决于您的数据集)，将其本地化为一个边界框，并将其标记为带有标签的边界框。在下面的图像中，您将看到一个简单的输出状态的最先进的物体识别。

​

​

对象检测:它类似于对象识别，但在这个任务中，只有两类对象分类，即对象边界框和非对象边界框。例如，汽车检测:您必须检测所有的汽车在一个给定的图像与他们的边界框。

​

​

对象分割:像对象识别一样，您将识别图像中的所有对象，但是您的输出应该显示该对象，对图像的像素进行分类。

​

​

图像分割:在图像分割中，您将分割图像的区域。您的输出将不会标签的片段和区域的图像一致，彼此应该在同一段。从图像中提取超级像素是这种任务或前景背景分割的一个例子。

​

​

语义分割:在语义分割中，必须用一组对象(汽车、人、狗、.)标记每个像素。和非物体(水，天空，路，.)。在语义分割中，你会给图像的每个区域贴上标签。

​

​

我认为像素级和像素级标记基本上是相同的，可以是图像分割或语义分割。我在此链接中也同样回答了你的问题。

Answer 3

以前的答案真的很好，我想补充几点：

对象分割

这在研究团体中已经不受欢迎的原因之一是因为它在问题上很模糊。对象分割过去仅仅意味着在图像中找到单个或少量的对象，并在其周围绘制一个边界，在大多数情况下，您仍然可以假设它意味着这一点。然而，它也开始被用来对可能是对象的小块进行分割，从背景中分割对象(通常称为背景减法、背景分割或前景检测)，甚至在某些情况下，也可以通过包围框与目标识别交替使用(随着深度神经网络方法的出现，目标识别很快就停止了，但事先的目标识别也意味着简单地将整个图像标记在其中的对象)。

什么使“分段”“语义”？

Simpy，每个片段，或者在深度方法的情况下，每个像素，都会得到一个基于类别的类标签。一般情况下，分割只是通过某种规则对图像进行分割。例如，Mean移位分割是根据图像能量的变化对数据进行很高层次的分割。同样，基于图形切割的分割不是学习的，而是直接从每幅图像的属性中派生出来的，而不是从其他图像中提取的。最近(基于神经网络的)方法使用标记的像素来学习识别与特定类相关联的局部特征，然后根据哪个类别对该像素具有最高的置信度对每个像素进行分类。这样，“像素标记”实际上是更诚实的任务名称，而“分段”组件则是紧急出现的。

实例分割

可以说，“实例分割”是对象分割的最困难、最相关和最原始的含义，它指的是场景中各个对象的分割，而不管它们是否是相同的类型。然而，这之所以如此困难的原因之一，是因为从视觉的角度(在某些方面来说是哲学的)，什么是“对象”的实例还不完全清楚。身体器官是物体吗？这种“部分对象”是否应该通过实例分割算法来分割呢？只有当它们与整体分开时，它们才会被分割吗？复式物体应该有两样东西清楚地连在一起，但可分离的东西应该是一个或两个(粘在棍子顶端的石头是斧头、锤子，还是只有一根棍子和一块石头，除非做得好？)此外，还不清楚如何区分实例。遗嘱是一个独立于其他墙壁的实例吗？应按什么顺序计算实例？他们出现的样子？接近这个观点？尽管存在这些困难，但对象的分割仍然是一件大事，因为作为人类，我们总是与对象进行交互，而不管它们的“类标签”是什么(使用周围的随机对象作为纸权，坐在不是椅子的东西上)，所以一些数据集确实试图解决这个问题，但是人们对这个问题没有给予足够的关注，主要原因是它的定义不够好。

场景解析/场景标记

场景分析是一种严格的场景标记分割方法，也存在一些模糊问题。历史上，场景标记意味着将整个“场景”(图像)分割成段，并给他们所有的类标签。然而，它也被用于给类标签到图像的区域，而不明确地分割它们。关于分割，“语义分割”并不意味着分割整个场景。对于语义分割，该算法只对已知的对象进行分割，如果没有标签的像素将受到损失函数的惩罚。例如，是一个用于语义分割的数据集，其中只有一些对象被分割。