- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
AD-DINOv3 | 异常感知校验的零样本检测
提出了AD-DINOv3，这是首个将DINOv3适配于零样本异常检测的框架，填补了自监督视觉编码器与异常检测任务之间的空白。 引入了一种带有轻量级适配器的跨模态对比学习策略，以充分利用DINOv3的层次化表征进行零样本异常检测。 在八个工业与医疗基准数据集上超越或媲美现有最先进方法，证明了其作为通用零样本异常检测框架的有效性。 架构与方法 我们采用DINOv3作为AD-DINOv3的视觉主干网络。 实现细节 在我们的实验中，默认采用Meta AI发布的ViT-L/16架构预训练DINOv3作为图像编码器，同时使用预训练CLIP（OpenAI）的文本编码器生成文本嵌入。 DINOv3主干网络包含24个Transformer层，我们将其划分为四个阶段，分别从第6、12、18和24层提取图像块嵌入。
13610编辑于 2026-04-02 - 来自专栏贾志刚-OpenCV学堂
干货 | 零样本工业缺陷检测方法概览
基于CNN与特征比对的缺陷检测方法 以PatchCore为代表的正样本学习方法是当前零样本工业缺陷检测的主流技术之一。 其核心思想是仅使用正常样本构建一个高维特征记忆库，将待检测图像划分为多个局部图像块（patches），并通过CNN提取每个图像块的特征向量。 这种方法不需要缺陷样本进行训练，适应性强，尤其适用于纹理规则、背景一致的产品表面检测，如金属、织物、半导体芯片等。 Transformer特征比对缺陷检测方法 随着Transformer架构在视觉领域的成功，基于自监督学习的视觉Transformer（ViT）模型，如DINO和CLIP，也被应用于零样本缺陷检测。 多模态网络的文本提示指导方法 以CLIP、InternVL等为代表的多模态网络，为工业缺陷检测提供了新的零样本思路。这类方法不仅利用视觉特征，还引入了文本提示（text prompt）作为指导信息。
17310编辑于 2026-04-02 - 来自专栏生信喵实验柴
临床样本检测
目前识别细菌感染的主要方法是细菌培养，通常需要 2~3 天时间，且敏感性较差。患者在此期间通常接受广谱抗生素治疗，从而可能加剧抗生素抗药性的问题。 ，并在 6 小时内准确检测抗性基因的突破性研究。 据悉，为了能够准确、快速地识别细菌病原体，研究团队开发了一种能够从临床样本中去除多达 99.99％的宿主核酸的流程，并在便携式 MinION 测序仪上开展了实时的检测和分析。 作者开发了一种用于细菌 LRI 诊断的宏基因组学方法，基于皂苷有效去除 99.99%的宿主DNA 并结合纳米孔测序； 3. 该方法从样品到结果仅需 6 小时，对病原体检测的敏感性 96.6％、特异性 41.7％，同时可检测抗生素抗性基因； 4.
78120编辑于 2023-02-24 - 来自专栏深度学习和计算机视觉
使用零样本目标检测识别物体 | 附代码
重磅干货，第一时间送达 在这篇文章中，我们将探讨如何使用Hugging Face的transformers库来使用零样本目标检测在冰箱图像中识别物体。 # 导入必要的库 from transformers import pipeline 在这里，transformers库用于目标检测，利用Hugging Face的零样本目标检测模型。 零样本模型是目标检测任务的强大工具，因为它们不需要对每个对象的特定数据集进行训练，而是能够开箱即用地理解各种对象的上下文。 0.15651869773864746, 'label': 'milk', 'box': {'xmin': 417, 'ymin': 1324, 'xmax': 635, 'ymax': 1450}}] 在零样本检测中 结论 这个代码示例展示了零样本目标检测在动态环境中识别物体的强大功能，比如冰箱内部。
43421编辑于 2024-12-09 - 来自专栏贾志刚-OpenCV学堂
MCL-AD | 基于多模态特征的3D零样本缺陷检测
在本文中，我们提出了一个通过多模态协作学习命名的ZS-3D异常检测框架，名为MCL AD，如图所示。 MCL-AD在零样本3D异常检测中表现出色，通过有效地弥合点云、RGB图像和文本语义之间的差距，利用多模态协作学习来增强内在模态表示和跨模态交互。 MCL-AD框架在零样本3D场景中表现出卓越的异常检测性能。在包括MVTec3D-AD [33] 和Eyecandies [33]在内的公共数据集上评估时，我们的方法相比现有技术表现更优。 主要改进与模型架构 MCL-AD的主要贡献如下： • 我们提出了一种新颖的零样本3D异常检测框架，名为MCL-AD，基于RGB图像、点云和文本语义之间的多模态协作学习。 • 广泛的实验证明，所提出的MCL-AD在MVTec3D-AD和Eyecandies数据集的零样本3D异常检测中优于现有方法。
13810编辑于 2026-04-02 - 来自专栏YOLO大作战
AD-DINOv3：通过异常感知校准增强DINOv3的零样本异常检测能力
开创性地将DINOv3适配于零样本异常检测（ZSAD）任务论文首次将DINOv3这一强大的自监督视觉基础模型作为视觉主干网络（visual backbone）引入到零样本异常检测（Zero-Shot Anomaly 在八个工业及医疗基准数据集上的大量实验表明，AD-DINOv3持续达到或超越现有最先进方法，验证了其作为通用零样本异常检测框架的有效性与广泛适用性。 3.方法3.1 问题定义 给定测试样本 I ∈ R^(H×W×3)，零样本异常检测（ZSAD）的目标是生成像素级异常热力图 M ∈ [0, 1]^(H×W)。 表1：零样本异常检测（ZSAD）方法在工业与医疗数据集上的像素级性能对比。最佳性能以粗体标注，次佳成绩添加下划线标示。图3：零样本异常检测（ZSAD）方法可视化结果。 5 结论本研究提出了AD-DINOv3——首个将DINOv3适配于零样本异常检测（ZSAD）任务的框架。
98610编辑于 2025-11-19 - 来自专栏DeepHub IMBA
零样本和少样本学习
由于我们有3类别，我们将有3个平均的向量。现在我们把它们标准化。每个向量是每个类的表示。对于预测，我们输入一个查询图像。得到查询图像的特征向量。 我们再将其标准化，然后将这个向量与3个均值向量进行比较。 单样本的一种方法是使用CNN和带有(n+1)的softmax来检测模型看到的图像中是否存在新的图像。但是当你的训练数据集中没有足够的样本时，他并不能很好地工作。 从监督到零样本的模式识别 我们以前在经典的分类模型中的做法是这样的: 但当出现新的类别时，该怎么做呢?关键是零样本学习。零样本学习的主要思想是将类别嵌入为向量。 3、深度网络能够进行零样本学习 将许多经典的和最新的迁移学习算法作为特殊情况目前还无法验证否有好处 目前零样本学习的进展和应用 1、将其用于音频识别|无人机视觉类向量=>上下文向量，通过上下文向量对任何新的上下文进行泛化例如在无人机视觉中
1.3K20编辑于 2022-11-11 - 来自专栏AI科技评论
今日 Paper | 小样本学习；机器学习；单幅图像去雾 ；零样本目标检测等
目录 提高小样本学习对全新分类的识别能力 机器学习的“学习如何遗忘” 复杂城市背后简单的空间尺度规则 FD-GAN：具有融合鉴别器的生成对抗网络用于单幅图像去雾 GTNet：用于零样本目标检测的生成迁移网络 GTNet：用于零样本目标检测的生成迁移网络 论文名称：GTNet: Generative Transfer Network for Zero-Shot Object 19 论文链接：https://arxiv.org/abs/2001.06812v1 推荐原因 这篇论文提出了一种生成迁移网络（Generative Transfer Network，GTNet）来用于零样本目标检测 GTNet包含一个目标检测模块和一个知识迁移模块。前者可学习大量已知领域知识，而后者利用合成的特征来生成未知类型的特征，这些特征则被用于训练目标检测模块中新的分类层。 在公共数据集上的评估表明这篇论文提出的GTNet优于当前最佳的零样本目标检测方法。
79110发布于 2020-02-21 - 来自专栏贾志刚-OpenCV学堂
工业缺陷检测新王者-零样本多模态VLM模型解密
大模型技术已经进入下半场，从纯文本的LLM范式进化到更高级MLLM范式 零样本缺陷检测 零样本工业缺陷检测模型是当前工业AI领域的前沿研究方向，旨在通过多模态大模型的图像与文本提示输入结合，实现感知与认知模型融合 模型从训练到部署、深入理解CLIP、DINOv2、DINOv3、SAM2等视觉语言大模型（VLM）结构，掌握基于VLM的图像分类、对象检测、OCR识别、零样本工业异常检测、异常分割、PCA主成分分析、小样本训练 004-CLIP图像特征提取与相似比对 005-CLIP构建以文搜图与以图搜图 006-CLIP零样本异常缺陷分类检测 007-CLIP零样本异常缺陷分割检测 008-CLIP模型微调自定义正样本缺陷分割检测从训练到部署 第八章：DINO网络与应用 001-DINO系列网络模型详解 002-实战DINOv2零样本图分类 003-零样本DINOv2与DINOv3特征提取与分割 004-基于DINOv2特征的PCA分析 005-DINOv2零样本异常缺陷检测 第九章：SAM网络与应用 001-SAM1到SAM3网络模型结构详解 002-SAM2实例分割与跟踪 第十章：VLM系列模型与应用 001-VML模型概述与典型架构
21400编辑于 2026-04-02 - 来自专栏贾志刚-OpenCV学堂
AA-CLIP | 最新零样本工业缺陷异常检测模型
异常检测（AD）识别出缺陷和病变检测中的异常值。虽然CLIP在零样本异常检测任务中显示出有希望的结果，但由于其内在的异常不感知特性，它在区分正常特征和异常特征方面存在局限性。 大量实验验证了AA-CLIP是一种高效且资源节约的解决方案，在工业和医疗应用中实现了零样本异常检测任务的最先进结果。 这种两阶段方法确保了一个集中和精确的异常检测框架。 在我们的工业和医学领域的广泛实验中，我们的简单方法使CLIP具备了改进的零样本AD能力，即使在数据有限的情况下也是如此。 通过使用最少的样本进行训练——例如每个类别一个正常样本和一个异常样本（2-shot）——并在未见过的数据集上进行测试，我们的方法实现了与基于CLIP的其他AD技术相当的零样本性能。 我们实现简单的残差适配器以提高零样本异常检测性能，而不会牺牲模型的泛化能力。 3. SOTA性能与高训练效率。
16710编辑于 2026-04-02 - 来自专栏贾志刚-OpenCV学堂
AA-CLIP | 零样本异常检测从训练到部署
AA-CLIP- 两阶段异常感知CLIP，是最新的零样本异常检测模型，支持文本与图像输入编码，特征比对实现工业与医疗图像的异常分类与分割。 https://github.com/Mwxinnn/AA-CLIP AA-CLIP训练 说实话官方github上面的代码写的挺好的，基本没有什么坑，可以直接运行训练，我用我自己的数据集，直接训练，采用小样本模式 ，八个样本训练，命令行如下： 训练日志如下： INFO:__main__:args: {'model_name': 'ViT-L-14-336', 'img_size': 518, 'surgery_until_layer , 'text_norm_weight': 0.1, 'text_adapt_weight': 0.1, 'image_adapt_weight': 0.1, 'text_adapt_until': 3, _:training image epoch 2: INFO:__main__:loss: 2.4324947538829984 INFO:__main__:training image epoch 3:
17210编辑于 2026-04-02 - 来自专栏计算机视觉战队
小样本检测：蒸馏&上下文助力小样本检测（代码已开源）
少样本目标检测，学习适应只有少数带注释的例子的新类，非常具有挑战性，因为新目标的细粒度特征很容易被忽略，而只有少数可用数据。 然而，由于小样本对象检测的挑战性，上述方法通常存在一些缺点。 其次，尽管尺度变化问题在之前的工作中得到了广泛的研究，但它仍然是小样本检测任务中的一个严重障碍。在少样本设置下，具有尺度感知改变的特征提取器倾向于过度拟合，导致基类和新类的性能下降。 Few-Shot Object Detection 小样本目标检测旨在仅提供一些带注释的训练示例，从新类别中检测目标。 3 新框架 DCNet 如下图所示，展示了具有上下文感知特征聚合 (CFA) 模块的密集关系蒸馏 (DRD) 模块，以充分利用支持特征并捕获必要的上下文信息。
89430编辑于 2023-08-24 - 来自专栏贾志刚-OpenCV学堂
全面对比WinCLIP与AnomalyCLIP零样本异常检测VLM模型
这两种方法在多样化的异常类型和产品类别中都展现出强大的泛化能力，但在模型复杂度、计算成本和检测精度方面做出了不同的权衡。 理解这些权衡对于从业者在实际检测系统中决定采用哪种方法至关重要 效果对比 使用四个标准指标对这两种方法进行评估： • 分类AUROC：图像级异常分类的ROC曲线下面积 • 分类AP：图像级分类的平均精度 • 分割AUROC：像素级异常定位性能 • 分割AUPRO：每区域重叠曲线下面积 总结 研究对比了WinCLIP与AnomalyCLIP两种方法，旨在帮助从业者为工业异常检测选择合适的技术方案。 而WinCLIP的优势则体现在真正的零样本部署场景，以及面向细粒度定位的显式空间推理能力。 两种方法在柔性物体与复杂装配体的检测中仍存在局限性，这为未来研究指明了方向。总体而言，视觉语言模型已从根本上革新工业检测范式，通过自然语言即可实现缺陷识别，大幅降低了模型再训练成本。
12910编辑于 2026-04-02 - 来自专栏计算机视觉战队
CVPR小样本检测：蒸馏&上下文助力小样本检测（代码已开源）
少样本目标检测，学习适应只有少数带注释的例子的新类，非常具有挑战性，因为新目标的细粒度特征很容易被忽略，而只有少数可用数据。 然而，由于小样本对象检测的挑战性，上述方法通常存在一些缺点。 其次，尽管尺度变化问题在之前的工作中得到了广泛的研究，但它仍然是小样本检测任务中的一个严重障碍。在少样本设置下，具有尺度感知改变的特征提取器倾向于过度拟合，导致基类和新类的性能下降。 Few-Shot Object Detection 小样本目标检测旨在仅提供一些带注释的训练示例，从新类别中检测目标。 3 新框架 DCNet 如下图所示，展示了具有上下文感知特征聚合 (CFA) 模块的密集关系蒸馏 (DRD) 模块，以充分利用支持特征并捕获必要的上下文信息。
1.8K20编辑于 2022-03-14 - 来自专栏往期博文
【目标检测】YOLO+DOTA：小样本检测策略
在网上冲浪时，我发现了一种小样本检测策略：那就是把大分辨率的图片分割成小块进行训练，然后再输入大图进行检测。那么本篇博文就使用DOTA数据集来验证一下这种思路是否可行。 x3 = poly1[4] y3 = poly1[5] x4 = poly1[6] y4 = poly1[7] combinate = [np.array([x1 , y1, x2, y2, x3, y3, x4, y4]), np.array([x2, y2, x3, y3, x4, y4, x1, y1]), np.array ([x3, y3, x4, y4, x1, y1, x2, y2]), np.array([x4, y4, x1, y1, x2, y2, x3, y3])] dst_coordinate = 未分割前： 分割后： 可以看到区别还是相当明显的，分割之后尽管还有少部分目标漏检，大部分目标都能准确得检测出来。
4K20编辑于 2022-09-22 - 来自专栏算法进阶
小样本目标检测研究综述
3 小样本目标检测学习策略 针对小样本下的模型训练问题，当前的小样本目标检测方法通常基于任务的episode训练策略和基于数据驱动的训练策略这两种学习策略。 基于任务的 episode 训练策略。 在训练过程中，模型通过支持集中的样本进行学习，然后在查询集中进行测试和评估。图3展示了 2-way 3-shot 任务的训练范式。 图3 基于任务的 episode 训练策略 该策略的优点在于能够快速获取先验知识，从而在新任务中更快地学习，但其要求所有任务满足同分布，其任务的设计可能限制了模型的学习能力。 基于数据驱动的训练策略。 表 2 小样本目标检测常用数据集及其划分方式 表3列出了在三种不同的基类/新类类别分割设定下，小样本目标检测典型方法在PASCALVOC数据集下的新类检测性能。 表 3 PASCAL VOC 数据集中对新类的小样本检测性能 由表3可知，大多数方法采用Faster RCNN作为基础检测模型，目前性能最好的方法是UniT。
3.1K30编辑于 2023-09-21 对抗样本攻击检测与防御
正是这种隐蔽性，使得对抗样本攻击具有很大的危害性，给人工智能系统的安全应用带来了严峻的挑战。 2. 对抗样本攻击的检测架构：筑牢第一道防线 要想有效应对对抗样本攻击，首先得能准确地检测出它们。 检测引擎：这是整个检测架构的 “核心大脑”。它会根据特征提取模块得到的特征，运用各种检测算法对数据进行分析和判断，确定输入的数据是不是对抗样本。 模型更新模块：对抗样本在不断地变化和进化，为了保证检测引擎的准确性，模型更新模块会根据检测的结果和新出现的对抗样本，对特征提取模块和检测引擎中的模型进行更新和优化，让整个检测架构始终保持较高的检测能力。 3. 对抗样本攻击的检测流程：让 “伪装者” 无所遁形 有了完善的检测架构，还需要一套清晰的检测流程，才能让检测工作有条不紊地进行，确保每一个对抗样本都能被准确识别。 未来展望：对抗样本攻防的发展趋势 随着人工智能技术的不断发展，对抗样本攻击也会变得更加复杂和隐蔽，这就对检测与防御技术提出了更高的要求。 未来，对抗样本攻击的检测技术可能会更加智能化。
54310编辑于 2025-08-16- 来自专栏贾志刚-OpenCV学堂
薪资30W+|2026年掌握零样本缺陷检测
大模型技术已经进入下半场，从纯文本的LLM范式进化到更高级MLLM范式 零样本缺陷检测 零样本工业缺陷检测模型是当前工业AI领域的前沿研究方向，旨在通过多模态大模型的图像与文本提示输入结合，实现感知与认知模型融合 模型从训练到部署、深入理解CLIP、DINOv2、DINOv3、SAM2等视觉语言大模型（VLM）结构，掌握基于VLM的图像分类、对象检测、OCR识别、零样本工业异常检测、异常分割、PCA主成分分析、小样本训练 004-CLIP图像特征提取与相似比对 005-CLIP构建以文搜图与以图搜图 006-CLIP零样本异常缺陷分类检测 007-CLIP零样本异常缺陷分割检测 008-CLIP模型微调自定义正样本缺陷分割检测从训练到部署 第八章：DINO网络与应用 001-DINO系列网络模型详解 002-实战DINOv2零样本图分类 003-零样本DINOv2与DINOv3特征提取与分割 004-基于DINOv2特征的PCA分析 005-DINOv2零样本异常缺陷检测 第九章：SAM网络与应用 001-SAM1到SAM3网络模型结构详解 002-SAM2实例分割与跟踪 第十章：VLM系列模型与应用 001-VML模型概述与典型架构
13710编辑于 2026-04-02 - 来自专栏前行的CVer
图神经网络3-应用:零样本动作识别
AAAI 2019 用GCN做视频的零样本动作识别 论文：I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph 任务介绍 零样本动作识别，提供一些已知类和已知类上的训练样本，要把从已知类学习到的知识迁移到未知类。 通过3层GCN（2048-1024-512），最终输出一个矩阵：d\times O，通过该实例分支，对于每一个视频，我们都能得到其对应的鲁棒的attribute-feature。 网络训练，对于所有已知类的样本，采用交叉熵损失。 当我们遇到一个新的action类的video时，我们先用实例分支找到与他最相关的objects，然后在分类分支中的知识图谱里去找这些objects对应的Unseen类的action是什么，就完成了零样本动作识别
1.3K10发布于 2021-03-04 - 来自专栏云+分享
目标检测 | ATSS，正负样本的选择决定检测性能
归纳总结 Name Value 标签 #正负样本 #目标检测 数据集 MSCOCO 目的 通过实验发现Anchor-Base和Anchor-Free的区别在于正负样本定义，并提出了ATSS 方法 使用IoU 的均值和标准差作为判断正负样本的自适应IoU阈值 3. 问题背景 论文指出单阶段Anchor-Based和Center-Based Anchor-Free检测算法的性能差异主要来自于正负样本的选择策略不同，基于此问题，作者提出了ATSS(Adaptive Training 均值m_g表示预设的anchor与GT的匹配程度，均值高则应当提高阈值来调整正样本，均值低则应当降低阈值来调整正样本。 参考文献 ATSS : 目标检测的自适应正负anchor选择，很扎实的trick | CVPR 2020 - 知乎 (zhihu.com)
1.7K20编辑于 2022-09-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号