深度学习发展到现在,各路大神都发展出了各种模型。在深度学习实现过程中最重要的最花时间的应该是数据预处理与后处理,会极大影响最后效果,至于模型,感觉像是拼乐高积木,一个模块一个模块地叠加,拼成最适合自己的模型。
引言 语义分割结合了图像分类、目标检测和图像分割,通过一定的方法将图像分割成具有一定语义含义的区域块,并识别出每个区域块的语义类别,实现从底层到高层的语义推理过程,最终得到一幅具有逐像素语义标注的分割图像 图像语义分割方法有传统方法和基于卷积神经网络的方法,其中传统的语义分割方法又可以分为基于统计的方法和基于几何的方法。 随着深度学习的发展,语义分割技术得到很大的进步,基于卷积神经网络的语义分割方法与传统的语义分割方法最大不同是,网络可以自动学习图像的特征,进行端到端的分类学习,大大提升语义分割的精确度。 此外,不同算法提取的候选区域集的质量也千差万别,直接影响了最终的语义分割效果。 基于全卷积的深度语义分割模型 基于全卷积的深度语义分割模型,主要特点是,全卷积网络没有全连接层,全部由卷积层构成。 总结 本文主要对于图像语义分割技术的研究发展历程进行了详细评述,对于传统的语义分割方法到当前主流的基于深度学习的图像语义分割理论及其方法做出了综合性的评估,对基于深度学习语义分割技术需要用到的网络模型、
论文地址:https://arxiv.org/abs/1704.06857 应用于语义分割问题的深度学习技术综述 摘要 计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣。 1 引言 如今,语义分割(应用于静态2D图像、视频甚至3D数据、体数据)是计算机视觉的关键问题之一。在宏观意义上来说,语义分割是为场景理解铺平了道路的一种高层任务。 于是,追随语义分割相关工作、合理地解释它们的论点、过滤掉低水平的工作以及验证相关实验结果等是非常困难的。 就我所知,本文是第一篇致力于综述用于语义分割的深度模型技术的文章。 该工作被视为里程碑式的进步,因为它阐释了CNN如何可以在语义分割问题上被端对端的训练,而且高效的学习了如何基于任意大小的输入来为语义分割问题产生像素级别的标签预测。 4.3 实例分割 实例分割被认为是语义分割的下一步,与此同时其相对于其他底层像素级别分割技术来说是最具挑战性的。
看分割算法,主要看人家是怎么做 decoder low resolution feature map 即怎么放大特征图
之前看过一篇使用分割思想进行目标检测,所以这里补习下一些分割相关的基础知识。这里重点说下语义分割、实力分割和全景分割的区别。 1 、semantic segmentation(语义分割) 通常意义上的目标分割指的就是语义分割,图像语义分割,简而言之就是对一张图片上的所有像素点进行分类 语义分割(下图左)就是需要区分到图中每一点像素点 2、Instance segmentation(实例分割) 实例分割(上图右)其实就是目标检测和语义分割的结合。 相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3…) 3、Panoramic segmentation(全景分割) 全景分割是语义分割和实例分割的结合 最后放上一张总结的图片 参考文章: 图像分类、目标检测、语义分割、实例分割和全景分割的区别 (科普)——实例分割、语义分割、全景分割的区别 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn
Semantic Segmentation in Street Scenes CVPR2017 Theano/Lasagne code:https://github.com/TobyPDE/FRRN 针对语义分割问题 ,本文侧重于分割中的物体边界精度, precise boundary adherence 通过两个 stream 实现:residual stream 保持图像的全尺寸大小,pooling stream 当前大部分分割算法都采样FCNs[38] 架构,很多文章依赖于在图像分类上的训练好的模型如 ResNet, VGG。 使用 FCNs 做分割,会通过 池化 或 strided convolutions 进行一系列的降采样,这么做有两个原因:1)可以显著的增加感受野的尺寸 increases the size of 池化对于图像中物体的识别是很有帮助的,但是对于分割问题却降低了分割的 localization 性能。
High-Resolution Semantic Segmentation CVPR2017 https://github.com/guosheng/refinenet 本文还是使用 cascaded 思想来做语义分割 identity mappings 、 提出一个 chained residual pooling 1 Introduction 直接将 CNN 网络模型如 VGG 、Residual Net 用于 语义分割存在的问题就是 CNN 卷积池化得到的特征图是降采样32倍的,很多细节丢失,这对于分割问题来说得到的结果太粗糙了。 文献【36】【22】使用了 intermediate layers 来生成高分辨率分割结果。 这里我们认为 features from all levels 对于语义分割都是有帮助的。 这里我们提出了一个框架将所有的特征融合起来用于语义分割 ResNet 、Dilated convolutions 、 RefineNet ? RefineNet 模块示意图: ?
RSNet [CVPR 2018]:点云的语义分割。 我们今天的讲课专注点云的分割。 所谓点云的分割,今天我想介绍的有两层,一层是语义分割和实例分割,所谓语义分割就是给每个点 assign 一个 label,比如说这个点是桌子还是椅子。 实例分割就是在 assign 语义分割的同时,把每个不同的物体给分割出来,比如一个房间里有很多椅子,每个点标 label 成椅子 1、椅子 2。 今天主要介绍在最新的 CVPR 上的两个工作,一个是对点云进行实例分割的网络:similarity group proposal network,还有一个是对点云进行语义分割的网络,recurrent 首先介绍 SGPN:实例分割的网络 在此之前,我想先回顾一下 2D 是怎么做实例分割和物体检测的。
Semantic Segmentation https://arxiv.org/abs/1707.03718 Torch7 code: https://github.com/e-lab/LinkNet 本文主要侧重语义分割的速度问题
Object Interactions and Descriptions for Semantic Image Segmentation CVPR2017 本文主要是从训练数据的角度来提升CNN分割性能的 这里直接根据关键词从网络上搜索相关图像,建立了一个数据库 IDW, 结合 VOC12上面的训练数据联合训练,对此设计了一个 IDW-CNN 模型,经过联合训练得到的模型用于分割,性能提升比较大。 the wild (IDW) dataset to improve the segmentation accuracy in VOC12 这里我们建立一个IDW数据库的图像描述用于提升 VOC12分割性能 Image Description Representation 根据图像在网络上语言描述信息提取用于分割的关键信息 ? IDW-CNN 网络结构示意图 ? 最后的分割结果: ? ?
憨批的语义分割1——基于Mobile模型的segnet讲解 学习前言 什么是Segnet模型 segnet模型的代码实现 1、主干模型Mobilenet。 2、segnet的Decoder解码部分 代码测试 学习前言 最近开始设计新的领域啦,语义分割也是图像处理一个非常重要的应用方向,我查了很多资料苦于如何入门,接下来给大家讲讲里面比较基础的segnet模型 什么是Segnet模型 Segnet模型是一个比较基础的语义分割模型,其结构比较简单,在说其结构之前,我们先讲一下convolutional Encoder-Decoder的结构。 因为基于VGG模型的语义分割模型都太大了,我的电脑支撑不住,所以我用的主干网络都是mobile模型。 这么一想其实语义分割是不是也没有那么难?
目录 语义分割综述 摘要 语义分割领域研究现状 灰度分割 条件随机场 深度学习方法 数据集与评价指标 常用数据集 评价指标 模型介绍 ---- ---- 语义分割综述 摘要 语义分割(全像素语义分割)作为经典的计算机视觉问题 (图像分类,物体识别检测,语义分割)。 语义分割将属于同一目标的图像部分聚集在一起解决这个问题,从而扩展了其应用领域。值得注意的是,与其他的基于图像的任务相比,语义分割是完全不同且先进的。 语义分割领域研究现状 早起的分割算法主要是灰度分割,条件随机场等一些较为传统的算法。 灰度分割 最简单的语义分段形式涉及分配区域必须满足的硬编码规则或属性,以便为其分配特定标签。 模型解释 这项研究通过全局卷积网络来提高语义分割的效果。 语义分割不仅需要图像分割,而且需要对分割目标进行分类。在分割结构中不能使用全连接层,这项研究发现可以使用大维度内核来替代。
LabelMe 是个可以绘制多边形、矩形、圆形、直线、点的一套标记工具,可用于分类、目标检测、语义分割、实例分割任务上的数据标注。
一些概念、代码参考: [1] 憨批的语义分割9——语义分割评价指标mIOU的计算 [2]【语义分割】评价指标:PA、CPA、MPA、IoU、MIoU详细总结和代码实现(零基础从入门到精通系列!) [3] 【语义分割】评价指标总结及代码实现 混淆矩阵 语义分割的各种评价指标都是基于混淆矩阵来的。 对于一个只有背景0和目标1的语义分割任务来说,混淆矩阵可以简单理解为: TP(1被认为是1) FP(0被认为是1) FN(1被认为是0) TN(0被认为是0) 各种指标的计算 1. label_path是真实标签的路径,为8位图;pre_path是训练好模型后,测试集生成的分割结果的路径,也是8位图。 metric = SegmentationMetric(2) 中,2表示的是该分割图的类别总数,包含背景,需对应修改。 2. 上述给出了两种指标的计算方式。
检测坑洼,水坑,不同类型的地形等 本期是关于路面语义分割方法的。因此,这里的重点是路面模式,例如:车辆行驶在哪种路面上或道路上是否有损坏,还有道路标记和减速带等等。 为了实现这些目标,将使用卷积神经网络(CNN)进行路面的语义分割。CNN体系结构是U-NET [4],该体系结构旨在执行医学图像中的语义分割任务,但已成功应用于许多问题当中。
检测坑洼,水坑,不同类型的地形等 本期是关于路面语义分割方法的。因此,这里的重点是路面模式,例如:车辆行驶在哪种路面上或道路上是否有损坏,还有道路标记和减速带等等。 为了实现这些目标,将使用卷积神经网络(CNN)进行路面的语义分割。CNN体系结构是U-NET [4],该体系结构旨在执行医学图像中的语义分割任务,但已成功应用于许多问题当中。
High-Resolution Images https://hszhao.github.io/projects/icnet/ https://github.com/hszhao/ICNet 本文针对高分辨率图像语义分割问题 ,引入 Cascade 思想 实现实时语义分割。 Difficulty-Aware Semantic Segmentation via Deep Layer Cascade Scene Parsing through ADE20K Dataset 首先来对比一下各个语义分割算法的速度和精度对比 这个思路达不到实时语义分割的要求 Model Compression 模型压缩 这里我们采用了 文献【13】的方法,效果不是很理想 ?
前言 本文对语义分割相关重要论文进行了简要概述,介绍了它们的主要改进方法和改进效果,并提供了这些论文的下载方式。 我们可以将语义分割视为像素级别的图像分类。例如,在有很多汽车的图像中,分割会将所有对象标记为汽车对象。 例如,语义分割在自动驾驶汽车和机器人技术中非常重要,因为模型理解其运行环境中的上下文非常重要。 这旨在提高语义分割网络的准确性。它探索了视频预测模型预测未来帧以预测未来标签的能力。 该论文表明,在来自合成数据的数据集上训练分割网络可以提高预测精度。 结论 我们现在应该掌握一些最常见的——以及一些最近的——技术,用于在各种上下文中执行语义分割。
目标分割技术-语义分割总览目标分割是计算机视觉领域的一个重要任务,旨在从图像或视频中准确地分割出特定的目标或对象。 但是,语义分割不区分属于相同类别的不同实例,也就是说如果存在目标物体重叠的情况,语义分割只会识别为一个共同的像素目标:而实例分割需要区分开来:那么我们再对图像分割总体定义了解:在计算机视觉领域,图像分割 SegmentationClass中是语义分割的标注信息SegmentationObject中是实例分割的标注信息实现技术了解以上基本概念之后,我们可以来了解一些实现目标分割的技术了,依然是分为两块:语义分割和实例分割来讲解 语义分割(Semantic Segmentation)定义: 语义分割旨在将图像中的每个像素分配到对应的语义类别,而不区分不同的实例。 SegNetSegNet是一种用于图像分割任务的深度学习架构,由剑桥大学的研究团队于2015年提出。SegNet主要专注于语义分割,即将图像分割成不同的语义区域。
文章目录 语义分割的评价指标 IoU or IU(intersection over union) pixcal-accuracy (PA,像素精度) 参考资料 语义分割的评价指标 在整理评价指标之前, 我们在进行语义分割结果评价的时候,常常将预测出来的结果分为四个部分:true positive,false positive,true negative,false negative,其中negative IoU or IU(intersection over union) IoU指标就是大家常说的交并比,在语义分割中作为标准度量一直被人使用。 交并比不仅仅在语义分割中使用,在目标检测等方向也是常用的指标之一。 在查询相关资料的时候发现了一个好东西: 《A Review on Deep Learning Techniques Applied to Semantic Segmentation》 下载PDF请点击这里 我觉得这个应该作为语义分割的基本知识普及资料之一