深度学习工业缺陷检测 1)提供工业小缺陷检测性能提升方案,满足部署条件; 2)针对缺陷样品少等难点,引入无监督检测; 3)深度学习 C++、C#部署方案; 4)实战工业缺陷检测项目,学习如何选择合适的框架和模型 1.工业油污数据集介绍 三星油污缺陷类别:头发丝和小黑点,["TFS","XZW"] 数据集大小:660张,包括部分良品图像,提升背景检测能力。 ,添加一个微小物体的检测头 多头检测器 | 亲测在工业小目标缺陷涨点明显,原始mAP@0.5 0.679提升至0.702 OLOv8n_4 summary (fused): 207 layers, 2.1 工业无监督缺陷检测,提升缺陷检测能力,解决缺陷样品少、不平衡等问题 2.2 工业无监督缺陷检测,提升缺陷检测能力,解决缺陷样品少、不平衡等问题(二) 2.3 工业缺陷检测全流程解决方案,提供检测 Onnxruntime Opencv DNN C++部署 4.深度学习工业项目分享 4.1 基于yolov5的缺陷检测算法(工件缺陷) 4.2 手机背板缺陷分割 4.3 小目标摄像头镜头缺陷检测
应用背景 随着机器视觉,工业自动化的快速发展,工业4.0的概念已经被提上日程。传统很多需要人工来手动操作的工作,渐渐的被机器所替代。 盖板玻璃在安装在触摸设备之前,在类似图一,图二的车间中经过了好几道检测工序, 其中很关键的一道工序就需要无数QC质检的火眼金金帮我们剔除掉有缺陷的玻璃, 最终来到我们用户手中的玻璃是没有缺陷,或者说基本没有缺陷的 Anyway, 上面之所以说了这么多,还是想让大家清楚的知道现在工业界的一个真正的需求, 所以下面我们要讨论的话题就是如何来解救现在工厂中正在睁大眼睛,埋头检测玻璃或者其他物体表面缺陷的少女们~ 2. 但是这些传统的方法来做缺陷检测大多都是靠人来特征工程, 从形状,颜色, 长度,宽度,长宽比来确定被检测的目标是否符合标准,最终定义出一系列的规则来进行缺陷检测。 然后你看到的无人工厂更加会无人化~ 具体的检测工业应用,作者在github上有讲的很清楚, 有感兴趣的朋友可以直接链接过去了解。
作为生产制造过程中必不可少的一步,表面缺陷检测广泛应用于各工业领域,包括3C、半导体及电子、汽车、化工、医药、轻工、军工等行业,催生了众多上下游企业。 随着光电元器件的快速发展,以及计算机技术中图像处理、人工智能等算法的深入研究,以机器视觉为代表的先进方法在工业质检中得到越来越广泛的应用。 可以看出,涡流、漏磁、激光超声等基于传统机理的检测方法适用场合有限,且仅能识别出少数几种类型的缺陷,对缺陷的定量描述也比较局限,无法综合评估被测物的品质状况,难以满足当前工业产品的表面缺陷检测需求。 基于机器视觉的表面缺陷检测方法 作为目前工业生产中最常用的自动检测技术之一,机器视觉技术是实现设备自动化、智能化和精密控制的有效手段,具有可靠性高、检测精度高、检测速度快、成本低和适用性广等突出优点。 自此,深度学习飞速发展,极大地改善了目标检测、语音识别等任务的性能,在工业质检、巡检、故障诊断等领域也取得了极大地成功。
工业视觉缺陷检测是一种利用计算机视觉技术,对工业制品进行自动化检测,以识别和分类可能存在的缺陷的方法。它是现代工业生产中的重要环节,可以大大提高生产效率,降低产品缺陷率,提高产品质量。 图片图片图片成像质量是根本,好的算法可以锦上添花影响因素:图片图片该项目为医疗注射器缺陷检测,要求检观出汗射器是否有质量缺路(缺件或者多件),检测对象分别为,胶暴、推杆承部 针尾品、针嘴、媒口、小较暴, 通过对样本进行分析,注射器摆放的位置略有差异,采用目标检测来检测各个部件是否存在比较合适,最后综合判断每个注射器的最终结果,如果检测某个注射器出现歪嘴或者缺件的直接输出对应的NG信号,方便剔除不合格产品 相机:工业高清黑白相机600w光源:红外平板光源,背面补光镜头:工业高清FA镜头35mm算法:yolov8部署:工控机显卡RTX206012G界面及通信:WPF或者C#或者OT (这里不做讨论)下图是yolov8 最后放上本次基于Aidlux平台实现工业视觉缺陷检测的效果视频的地址。https://www.bilibili.com/video/BV1GN4y197cD/
[ 摘要 ]由于深度学习强大的特征提取能力,代替了人工目检和传统的机器视觉,成为了工业缺陷检测的新利器。然而,基于深度学习的语义分割技术在工业缺陷检测领域的应用仍具有挑战性。 本文先对比自然场景下的语义分割,概述了工业缺陷检测背景下语义分割技术的特点;接着,对于工业缺陷检测的常见难点,对常见的解决方案进行介绍。最后,作者提出了关于工业缺陷检测实际应用中一些问题的思考。 工业缺陷检测相比于自然场景,类别更少,而且工件表面一般背景干扰小,变化更少,而且可以通过硬件(如打光)等方式去改良光照等条件以获取更好的数据集。那么是否意味着工业缺陷检测中的语义分割更为简单呢? 其实不然,简单来说,工业缺陷检测中的语义分割存在以下的问题: 类间差异小,存在模糊地带:以磁瓦缺陷数据集[4]为例,线状物体在多种缺陷或者无缺陷情况都有出现。 有些场景下的工业缺陷检测并不需要逐像素分类准确,需要知道缺陷种类和大致位置即可,更倾向于“目标分类”这样的任务。之所以不采取目标检测的方式,是由于缺陷表现形式不一,很难确定长宽比,从而进行锚框的设置。
皮特潘:AI 工业缺陷检测 —— 写在前面的话 https://zhuanlan.zhihu.com/p/375383384 主要内容还是围绕着场景分析与数据理解、方法论与算法设计、工具链与部署落地等方面进行展开 单单从工业界来看,在“缺陷检测”这一个细分的场景(其实也不是啥细分场景,所有找异常的都可以叫缺陷检测)。 (二)场景分析 本文讨论的是工业场景,那就先和自然场景比一比吧!如下: ? 当然有一个非常重要的特性没有说: 自然场景一般是强语义信息,缺陷检测一般为弱语义信息。 貌似难度比自然场景少不少,再仔细分析一下,工业场景其实有以下几个特点: 业务场景过于分散 ,对标一下“人脸”,甚至“OCR”等领域,缺陷检测场景还是非常分散的,难以归纳。 以上是工业缺陷检测场景的固有属性。
本综述旨在对工业缺陷检测的任务定义、难点、挑战、主流方法、公共数据集及评价指标等进行全面归纳,以帮助研究人员快速了解该领域。具体而言,本文首先介绍工业缺陷检测的背景与特点。 工业缺陷检测不仅可以用于检测各种工业制品,如金属、纺织物、半导体等,而且具有优秀的检测精度与效率,还能提供简便、安全的操作环境。 由于工业缺陷可以视为工业产品的外观 “异常”,因此也有部分工业缺陷检测方法采用了异常检测的思路。然而异常检测的定义与工业缺陷检测也有所区别。 因而,一般的图像异常检测往往仅需区分正常与异常样本,而工业缺陷检测更关注于检测图像中的异常像素。在实际工业场景中,缺陷的定义更加主观,因而学者们试图寻求其与异常检测的关联。 2.2 研究概述工业缺陷检测长期以来都是工业视觉领域最重要的研究之一。近年来,随着深度学习在计算机视觉任务中的普及,基于深度学习的工业缺陷检测方法也得到了飞速发展,并逐渐占据主流。
工业视觉检测: 在工业生产线上,深度学习算法被用于检测各种产品的缺陷,包括零件装配完整性、装配尺寸精度、位置/角度测量等。 Vit网络实现工业缺陷检测优势 全局信息捕捉能力强: ViT通过自注意力机制,能够在处理图像时捕捉到全局范围内的信息,这对于识别工业产品表面的微小缺陷尤为重要。 04、SAM网络模型 目前,关于SAM直接应用于工业缺陷检测的具体案例可能相对较少,但可以参考类似技术在工业领域的应用。 例如,一些基于深度学习的图像分割方法已经被成功应用于工业产品表面的缺陷检测中,如裂纹检测、划痕检测等。这些方法通过构建深度学习模型,对工业产品图像进行特征提取和分类,从而实现缺陷的自动识别和分割。 灵活性:SAM模型可以针对不同的工业场景和缺陷类型进行训练和优化,具有很强的适应性。 SAM在工业缺陷检测中的应用挑战 复杂场景:工业缺陷检测场景通常较为复杂,涉及多种不同类型的缺陷和背景。
视觉工业检测大体分为工件尺寸测量与定位,和表面缺陷检测,及各种Logo标识的检测与识别等。 尺寸测量主要是检测物体的长、宽、高,比较常见主要是物体的二维尺寸(宽和高)检测。 穹形光源,主要用于球型或曲面物体的缺陷检测、不平坦的光滑表面字符的检测、金属或镜面的表面检测。如玻璃瓶、滚珠、小工件表面、塑料或铝制容器等。 常用于:LCD缺陷的检测、包装文字检测、包装膜破损检测、纸张质量检测、常规印刷质量检测、制造物裂纹的检测、电子部件的形状识别和大小的测量、各种线阵检测等。 如何选择工业相机: 首先要弄明白的是自己的检测任务,是静态拍照还是动态拍照、拍照的频率是多少、是做缺陷检测还是尺寸测量或者是定位、产品的大小(拍摄视野)是多少、需要达到的精度多少、所用软件的性能 三、现有可用的视觉检测软件/库 1、做工业视觉检测的公司有哪些?
工业视觉检测: 在工业生产线上,深度学习算法被用于检测各种产品的缺陷,包括零件装配完整性、装配尺寸精度、位置/角度测量等。 Vit网络实现工业缺陷检测优势 全局信息捕捉能力强: ViT通过自注意力机制,能够在处理图像时捕捉到全局范围内的信息,这对于识别工业产品表面的微小缺陷尤为重要。 04 SAM网络模型 目前,关于SAM直接应用于工业缺陷检测的具体案例可能相对较少,但可以参考类似技术在工业领域的应用。 例如,一些基于深度学习的图像分割方法已经被成功应用于工业产品表面的缺陷检测中,如裂纹检测、划痕检测等。这些方法通过构建深度学习模型,对工业产品图像进行特征提取和分类,从而实现缺陷的自动识别和分割。 灵活性:SAM模型可以针对不同的工业场景和缺陷类型进行训练和优化,具有很强的适应性。 SAM在工业缺陷检测中的应用挑战 复杂场景:工业缺陷检测场景通常较为复杂,涉及多种不同类型的缺陷和背景。
1.工业缺陷检测介绍 得益于机器视觉的不断发展和成熟,越来越多的制造企业正在尝试将机器视觉检测技术引入产品缺陷检测。 目前基于机器视觉的缺陷检测技术已经大量应用于纺织品、汽车零部件、半导体等产品的缺陷检测中,大大提升了制造业的质检效率。 机器视觉在工业缺陷检测中的前景毋庸置疑,而工业制造领域的多样性、生产环境的复杂性、产品缺陷的非标性等因素,都给机器视觉在缺陷检测的实际应用带来了诸多挑战。 ,导致缺陷存在未知的可能性;1.2行业发展:基于深度学习的缺陷检测,绝大多数还是基于有监督学习(比如Yolov5、Yolov7、Faster RCNN等),半监督无监督急需突破,近几年在AI在工业界的应用接近理性发展 ;2)缺陷多为小目标,设计适合小目标检测的网络;3)数据增强;5.模型部署在工业缺陷检测项目中,最终部署往往不是python部署,而是通过c++,C#,QT下进行调用,因此需要根据需求转换成tensort
作者:limzero,西安交通大学,Datawhale原创作者 比赛介绍 工业缺陷检测是当前深度学习落地的热门项目,其中瓷砖生产过程中的“质量检测环节”需要检测出瓷砖表面的瑕疵,目前比较依赖于人工,效果和效率都层次不齐 最近天池上线的广东工业赛事针对瓷砖表面瑕疵进行智能检测,要求选手们相应的算法,尽可能快与准确的给出瓷砖疵点具体的位置和类别,主要考察疵点的定位和分类能力。 ? 总结 虽然检测比赛都是mmdet的天下,但是我相信在复赛有时间限制的情况下,加上这个赛题的特殊性,yolov5还是有比较强的竞争力的,特别是比赛后期。
基于CNN与特征比对的缺陷检测方法 以PatchCore为代表的正样本学习方法是当前零样本工业缺陷检测的主流技术之一。 图像来自AI缺陷检测大师软件 当某个图像块的特征与正常特征库差异显著时,即被判定为缺陷区域。PatchCore方法利用多尺度特征聚合和最近邻搜索等技术,有效提升了检测的准确性和稳定性。 多模态网络的文本提示指导方法 以CLIP、InternVL等为代表的多模态网络,为工业缺陷检测提供了新的零样本思路。这类方法不仅利用视觉特征,还引入了文本提示(text prompt)作为指导信息。 这种方法的最大优势是灵活性和可解释性:无需训练即可根据不同的文本提示检测多种缺陷,实现“开箱即用”的检测。它适用于多品类、小批量的生产场景,能够快速适应新产品或新缺陷类型。 然而,其性能依赖于预训练模型的质量和提示词设计的准确性,在工业细微缺陷或高精度要求下可能面临挑战,需要结合领域知识进行优化。
工业视觉缺陷检测的工作流程常用异常检测算法面临的挑战及发展图像分割的数据标注数据标注准确的重要性:1. 训练模型的基础2. 提高模型性能3. 降低误判和误诊分险4.
SUPERAD方法的核心思想是对于数据集中的每个类别,构建一个包含16张正常参考图像的记忆库。这些参考图像的选择遵循两步程序。首先使用DINOv2模型从所有训练图像中提取CLS token表示。然后,应用与Patchcore相同的贪心核心选择方法,将这些特征向量分组为16个集群。这种策略在保持所有特征分布不变的情况下,最大限度地提高了类别内不同正常模式覆盖率,从而增强了参考集的代表性,并减少了误报率。
在当前发展阶段,制造企业普遍面临着诸多的挑战,包括如何改善工作效率以提升行业竞争力,如何降低生产过程中的产品不良率等,从而优化产业成本,其中缺陷检测便是最典型的场景之一。 本次飞桨产业实践范例库联合OpenVINO开源工业缺陷检测的产业应用方案,提供了从数据准备、模型训练及优化的全流程可复用方案,并基于Intel平台进行模型部署,降低产业落地门槛,适用于钢铁、纺织、3C等多种制造业场景 contributionType=1 图1 工业缺陷检测 1 场景难点 场景数据多样且碎片化,定制成本高,模型开发流程长,难以快速响应需求。 从加热、轧制,再到干燥和切割,需要几台机器协同操作,其中一个重要环节就是利用高清摄像头捕获的图像对加工环节中的钢材进行缺陷自动检测。 通过多路工业IP摄像头拍摄钢板表面得到RGB图片,并通过交换设备将图像数据送入Intel平台进行视觉分析。该方案可以识别不同的缺陷种类,并得到其位置信息。
随着现代电子工业迅猛发展,电子技术不断革新,PCB密集度不断增大,层级越来越多,生产中因焊接缺陷的等各种原因,导致电路板的合格率降低影响整机质量的事故屡见不鲜。 其中人工目测等传统的PCB缺陷检测技术因诸多弊端已经不能适应现代工业生产水平的要求,因此开发和应用新的检测方法已显得尤为重要。 根据PCB板缺陷产生的原因和目前惯用的缺陷检测方法及其不足,发展出了符合现代工业要求的PCB一般缺陷检测方法包括:自动光学检测技术(AOI)、机器视觉检测技术(MVI)、计算机视觉检测技术(AVI)。 选择正确样本图和待检测图,如下图所示: 点击缺陷检测和缺陷标注完成对PCB板图像的检测,如下图所示: 当待测图像存在与标准图像存在角度差时,我们可以在进行互相关系数计算前,先进性旋转,求出在多个角度下的最大相关系数 项目资源下载请参见: MATLAB实现工业PCB电路板缺陷识别和检测【图像处理实战】
通过这些技术的结合,DeepSeek为工业缺陷检测提供了一个高效、可靠的解决方案。 1.工业缺陷检测:现状与挑战 在工业生产领域,工业缺陷检测是保障产品质量的关键环节,其重要性不言而喻。 4.3 案例分析:微调模型提升缺陷检测性能 为了更直观地展示微调模型在工业缺陷检测中的效果,我们以某汽车零部件表面缺陷检测项目为例进行分析。 5.2 边缘计算在工业缺陷检测中的应用 边缘计算作为一种新兴的计算模式,为工业缺陷检测的产线级部署提供了有效的解决方案。 7.2 应用拓展前景 工业缺陷检测技术的应用前景极为广阔,将在众多行业中发挥重要作用,推动工业生产向智能化、高效化方向升级。 在制造业中,工业缺陷检测技术将得到更广泛的应用。 工业缺陷检测技术在未来将展现出巨大的发展潜力和应用价值,为工业生产的智能化升级和可持续发展提供强大的技术支持。 8.结论 在工业生产智能化的进程中,工业缺陷检测扮演着举足轻重的角色。
传统的木料缺陷检测通常依赖人工检查,不仅效率低下,而且容易受到人为主观因素的影响。 图1 正常木料与异常木料对比展示图 通过引入 AI 技术,可以让机器自动检测和识别木料中的缺陷,从而大幅提高检测效率和准确性,确保生产出高质量的木制品。 这一瓶颈限制了 AI 模型的检测性能,因为在缺少多样化缺陷数据的情况下,模型难以全面学习和识别各种可能的缺陷类型。 通过模拟真实缺陷,如划痕、污渍和裂纹等,生成多样化的缺陷数据,丰富训练数据集,使 AI 模型能够更全面地学习和识别各种缺陷,从而显著提升检测的准确性和性能。 有些需求方可能选择忽略图像中的某些缺陷,而有些则会严格要求所有缺陷都被检测出来。然而,在技术实现层面,最基础的缺陷检测模型会始终尝试检测出所有的缺陷。
表面缺陷检测已成为工业生产过程中不可或缺的组成部分。 国外在物体表面缺陷检测上的研究相较中国起步早,加上国外对缺陷检测技术投资大,研发力度高,设备检测精确,早在20世纪20年代,表面缺陷检测技术已经应用于工业生产过程中。 同时,在缺陷尺寸小于0.5mm且无较大光学形变时,人眼检测不到缺陷信息,不适用于大规模工业生产的要求。 随着图像处理技术的发展,机器视觉的缺陷检测方法已经逐渐取代了人工检测方法,在工业生产检测环节得到了实践。 机器视觉技术已经在医学、交通航海、工业生产等领域有了突破性进展,基于机器视觉的表面缺陷检测必将是未来的发展趋势。忽米网——让工业更有智慧源自:《基于机器视觉的表面缺陷检测研究综述》