- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据-BigData
异常检测
什么是异常检测 异常检测是对罕见事件、项目或关注事件的识别，因为它们与大多数处理数据的特征不同。异常，也称为异常值，可以代表安全错误、结构缺陷，甚至银行欺诈或医疗问题。异常检测主要有三种形式。 第一种异常检测是无监督异常检测。该技术通过将数据点相互比较、为数据建立基线“正常”轮廓并寻找点之间的差异来检测未标记数据集中的异常。 相比之下，监督异常检测需要使用特定的“正常”和“异常”标签来训练数据集。最后，半监督异常检测技术要求分类器在“正常”数据集上进行训练以建立预设，然后分析预期数据以检测异常。 image.png 异常检测技术 有许多流行的异常检测技术。 异常检测的另一种形式的示例称为聚类分析。 聚类分析是分析活动爆发数据的技术，而不是特定的稀有对象。 异常检测的应用 异常检测用于欺诈和入侵检测、系统健康监测和生态系统干扰监测等应用。 例如，在欺诈检测中，银行可以分析一系列交易数据来监控和检测可能的欺诈实例。
94320编辑于 2022-03-18 - 来自专栏深度学习进阶
AIOps异常检测（一）：基于AutoML的异常检测
内容简介 本文主要介绍两篇用AutoML来做异常检测的文章，《PyODDS: An End-to-end Outlier Detection System with Automated Machine 搜索空间 除网络结构外，AutoOD还新增了异常定义空间和损失函数空间。 image.png image.png image.png 异常定义空间 image.png 2. 搜索策略：Curiosity-guided Search image.png image.png image.png image.png 3. 算法详情 image.png
1.3K30发布于 2021-09-15 - 来自专栏毛利学Python
异常值检测
异常值 异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。 异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。 环境 jupyter notebook 实战演练 现在老板给了我有个任务，说 ? False 读取数据 data = pd.read_csv('C0911.csv', header=0) # C0911.csv, C0904.csv x = data['H2O'].values 异常检测 说明ptp()函数 ptp()是计算最大值与最小值差的函数 >>> x = np.arange(4).reshape((2,2)) >>> x array([[0, 1], [2, 3]] plt.grid(b=True, ls=':', color='#404040') plt.tight_layout(1.5, rect=(0, 0, 1, 0.95)) plt.suptitle('排污数据的异常值检测与校正
1.1K30发布于 2019-08-29 - 来自专栏又见苍岚
异常检测 OCGAN
深度学习实现异常检测时常用重构的方法，但是过程中会隐含地学习到对检测不利的内容，OCGAN 尝试克服该问题。 当前的方法认为latent representation包含这in-class样本的信息，从而对于in-class样本，其reconstruction的效果好而out-of-class样本的则差，进而能达到检测异常的目的 arxiv.org/pdf/1903.08550.pdf 问题复现 对于传统的 AE 模型，以手写数字辨识为例，对于简单的数字（如0，1），模型可以获得很高的准确率；但对于较为复杂的数字（如8），其检测的准确率会有所折扣 这是因为8的latent representation不仅仅包含了其自身的信息，还包含了其他数字（例如1，3，6，7）的信息。
45610编辑于 2023-12-20 - 来自专栏又见苍岚
异常检测 DDAD
本文记录异常检测23年性能最佳的工作 DDAD 的原理以及官方源码解析。 简介 DDAD 是 2024 年以前 MVTec AD 数据集上性能最好的异常检测模型，本文解读相关论文并对源码进行解读 论文解读 基本信息 项目 内容 备注 方法名称 DDAD 论文题目 Anomaly 通过预训练网络提取输入图像和重构图像特征进行比对, 结合像素级比对得到异常分数图3. 在异常检测推断流程中, 重构的目标图像会被设置为输入图像 x, 目的是基于 x 生成一幅没有缺陷的重构图 x_0, 之后比对 x_0 和 x 之间的差异判断是否存在异常. 最后将二者归一化加权叠加在一起得到异常分数： D_{anomaly}=\left(v\frac{\max(D_f)}{\max(D_p)}\right)D_p+D_f, 其中 域适应性 按照算法的完备性至此已经可以完成异常检测工作了
2.6K10编辑于 2024-01-11 - 来自专栏Soul Joy Hub
异常值检测
Anomaly Detection 异常值检测想要做的任务是从数据中找出与其他数据显著不同的数据，其具体应用有如：信用卡盗卡检测、网络攻击检测、癌细胞检测等。 2. 异常值检测能不能看做一个二分类任务来建模？通常来说，异常值不能被看做为一个类别，因为异常值的种类实在是太多了。 所以异常值检测很难直接被看做二分类任务。 3. 有Label数据的异常值检测 有Label数据如何做异常值检测呢？ 异常值检测任务： 收集训练集，训练集全部为正常值 训练分类模型 收集验证集，验证集中含着异常值样本 利用AUC等来衡量异常检测效果 4. 无Label数据的异常值检测 4.1 Likelihood 无Label数据的异常值检测思想和朴素贝叶斯相似，使用最大似然估计。我们可以假设各个特征的取值概率分布为高斯分布： ?
86020发布于 2019-04-22 - 来自专栏又见苍岚
异常检测 DiffusionAD
本文介绍 2023 年一篇异常检测中基于扩散模型实现异常检测的工作 —— DiffusionAD。 Norm-guided One-step Denoising Diffusion for Anomaly Detection 论文连接 https://arxiv.org/pdf/2303.08730v3. 99.7% Segmentation AU-ROC 98.7% Segmentation AU-PRO 95.7% FPS 23.5 核心思想 用扩散模型作为数据重构子模块，结合一个分割网络用于异常检测 Loss 同时应用，以减少对异常值的过度敏感并准确分割困难异常样本。 HuiZhang0812/DiffusionAD-Denoising-Diffusion-for-Anomaly-Detection https://arxiv.org/pdf/2303.08730v3.
2.2K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 MemSeg
本文记录一篇生成异常数据用于自监督学习的异常检测工作 —— MemSeg。 一系列的操作将不同尺度信息充分融合又不冗余，实现检测及定位。 论文框架 上图为 MemSeg 整体架构，主要由 异常模拟、记忆模块和空间注意力组成。 异常模拟 监督学习分割网络关键在于生成异常数据，使用惯用套路，生成 mask，将其他图像叠加在 Mask 上，按照透明度融合在一起： I_n’=\delta\left(M\odot I_n\right 空间注意力 计算特征空间注意力权重： $$ \begin{gathered} M_{3}=\frac{1}{C_{3}}\sum_{i=1}^{C_{3}}DI_{3i}^{*} \\ M_{2}= 推断 直接端到端从输入图像到异常得分结果前向传播即可。
83710编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 SimpleNet
本文介绍异常检测 2023 年一篇优秀工作 —— SimpleNet。 但是异常样本的数量往往不足以支持训练，不同于其他文章生成异常图像，本文在特征空间中的正常样本上添加简单的噪声生成异常特征（文章声明该方法优于其他手工方法）。 ，直接输出 (h,w) 位置的正常水平，正常与添加过异常扰动的人工异常特征共同训练，相当于训练分类网络。 ，异常分数直接由一系列前向推导得到： $$ s_{h,w}^i=-D(q^i_{h,w}) $$ 推理过程中异常定位的异常图定义为： $$ S_{AL}(x_{i}):=\{s_{h,w}^{i}| 同时图像级异常检测结果的得分： S_{AD}(x_i):=\max_{(h,w)\in W_0\times H_0}s_{h,w}^i 由于网络简单，在 3080Ti 上 256*256 的图在未经过量化的模型上可以达到接近
1.1K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 DeepSVDD
本文记录神经网络用于一分类异常检测的开山工作 —— DeepSVDD。 简介 论文：Deep One-Class Classification 开源代码：https://github.com/lukasruff/Deep-SVDD-PyTorch 基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低 主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面，然后根据球心和测试样本点间的距离来判定样本点是否是异常。 推断 对于测试样本点 x\in X, 可以定义异常分数为输出空间中样本点到超球面球心的距离 $$ s(\boldsymbol{x})=\left\|\phi\left(\boldsymbol{x};
1.3K10编辑于 2023-12-26 - 来自专栏数说工作室
异常值检测
简单翻译一下大体内容： 题目是”大数据集中监测异常值的方法“，主要内容有3点： 1. 概括三种异常值检测方法 方法1：对总体进行统计建模来检测异常值 k个标准差以外的； 用指数加权移动回归； 类似CUSUM的一些方法，可以最快速的检测到一些变化。 方法3：近邻比较 比较与周围点的分布密度，比如某一段的密度曲线明显与周围其他地方不一样，那么就存在异常情况。 2. 关于多重校正，数说君之前专门写过一篇文章，戳这里：浅议P值校正 例2：光谱异常值检测 这个例子要检测有异常光谱的像素。怎么做的呢？ 3）对每个POS机的支付行为，比较其与基准模型的差异，并对异常程度进行打分，可视化结果。
1.5K50发布于 2018-04-04 - 来自专栏又见苍岚
异常检测 EfficientAD
本文记录异常检测 2023 年的一篇工作 EfficientAD。 在教师学生网络架构上提出更高效的网络, 可以快速推断得出异常检测结果2. 高效地结合了自动编码器和教师学生网络的结果3. 在训练学生网络时, 如果使用过多的训练图像, 会使得学生模仿教师对异常数据的行为, 这样不利于异常检测；而故意减少训练图像的数量又会使得学生没有学到正常图像的重要信息. 逻辑异常检测 异常又很多种情况, 教师学生网络适合检测局部区域的异常, 而自编码器善于检测逻辑上的异常, 因此文章为了同时检测所有异常在教师学生网络之外, 使用自动编码器来学习训练图像的逻辑约束并检测对这些约束的违反 左右两组流程分别展示细节异常和逻辑异常的检测过程.
2.8K22编辑于 2024-01-09 - 来自专栏又见苍岚
异常检测 PatchSVDD
本文记录神经网络用于一分类异常检测的改进工作 —— PatchSVDD。 Segmentation 开源代码：https://github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch 改进 deep SVDD，提高异常检测能力与添加瑕疵定位能力 ，输出异常位置的热力图。 Patch~SVDD}}=\lambda\mathcal{L}_{\mathrm{SVDD}}+\mathcal{L}_{\mathrm{SSL}}. $$ 该 SSL loss 会提升对象类的图像的异常检测性能 encoder 后，提取并保留所有训练数据中的 Patch 特征，给定一个查询图像 x，其中的每个 Patch 通过编码器提取特征，每个Patch 特征在训练特征中距离最新的特征距离为该 Patch 的异常得分
73610编辑于 2023-12-26 - 来自专栏CreateAMind
这个异常检测效果
Detecting outliers is an important task in machine learning, since if left unchecked they could hinder performance of our models. We focus on finding the reason an instance is an outlier, i.e. by finding the subset of features that if ignored the rest of the input is not an outlier anymore. We formulate the problem as a constrained monotonic submodular optimization task thanks to key properties of marginal distributions. Additionally, we leverage probabilistic circuits, which enable tractable marginal queries for arbitrary subsets, to further speed up the subset selection algorithm. We showcase the ability of finding the outlier features in a variety of different corruption scenarios, and show that finding and fixing the outlier features can help in downstream tasks such as classification.
39040编辑于 2023-02-14 - 来自专栏又见苍岚
异常检测 SVDD 算法
机器学习中的异常检测在很多场景有重要应用，本文记录 SVDD 算法。 简介 支持向量数据描述 SVDD（Support Vector Data Description，SVDD）是一种单值分类算法，能够实现目标样本和非目标样本的区分，通常应用于异常检测、入侵检测等领域。 SVDD 思想 SVDD 的思路是寻找一个尽可能小的高维球体，将训练数据容纳进去，那么在预测数据时，认为在球体之外的数据为异常数据。 判断新样本是否为异常点 对于一个新的样本点 z ，如果它满足下式，那么我们认为它是一个异常点。
3.4K20编辑于 2022-10-31 - 来自专栏vincent随笔
异常检测 anomaly detection
异常检测的应用 欺诈检测 工业质量监测 计算机集群监测 等等 image.png 建立一个异常检测系统的一般步骤 将带有label的数据集划分为训练集、验证集和测试集 注意将异常数据大致平均分配到每个集合中 通常情况下，验证集和测试集的数据都应该是互不相同的，即两个集合没有交集 使用训练集训练算法P(x) 为了避免正负样本分布不均，使用F1-score来评价算法性能 使用验证集来选择阈值ϵ 异常检测和监督学习的区别 异常检测 正例（异常样本）通常都非常少，通常是10这个数量级。 异常的种类非常多，无法通过特征一一确定。未来的异常种类不能预见。
56830发布于 2021-08-18 - 来自专栏YOLO大作战
AD-DINOv3：通过异常感知校准增强DINOv3的零样本异常检测能力
开创性地将DINOv3适配于零样本异常检测（ZSAD）任务论文首次将DINOv3这一强大的自监督视觉基础模型作为视觉主干网络（visual backbone）引入到零样本异常检测（Zero-Shot Anomaly 传统的监督式异常检测方法通常需要为每个类别获取大量标注异常样本，这在大规模或动态环境中往往难以实现[4, 1, 3]。 我们的主要贡献包括： 我们提出AD-DINOv3——首个将DINOv3适配于零样本异常检测的框架，填补了自监督视觉编码器与异常检测任务间的鸿沟； 我们引入跨模态对比学习（CMCL）策略及轻量级适配器， 这推动研究者探索更强的视觉骨干网络DINOv3，并开发专用于异常检测的自适应提示学习机制。 表1：零样本异常检测（ZSAD）方法在工业与医疗数据集上的像素级性能对比。最佳性能以粗体标注，次佳成绩添加下划线标示。图3：零样本异常检测（ZSAD）方法可视化结果。
98310编辑于 2025-11-19 - 来自专栏新智元
GAN如何异常检测？最新《生成式对抗网络异常检测》综述论文，概述异常检测的典型GAN模型
本文综述了主要的基于GAN的异常检测方法，并突出了它们的优缺点。 异常是数据中不符合正常行为的定义(Chandola et al., 2009)的模式。 这种GAN特性表明它们可以成功地用于异常检测，尽管它们的应用只是最近才被探索出来。 使用GAN进行异常检测的任务是使用对抗性训练过程建模正常行为，并测量异常评分来检测异常(Schlegl等人，2017)。 第2节介绍了使用GAN进行异常检测的最新架构。在第3节中，我们对所有分析的架构进行了经验评估。最后，第四部分是结论和未来的研究方向. GAN异常检测 基于GAN的异常检测是一个新兴的研究领域。 EGBAD 高效基于GAN的异常检测(EGBAD) (Zenati et al.， 2018)将BiGAN架构引入到异常检测领域。
3.3K40发布于 2021-10-13 - 来自专栏机器学习与生成对抗网络
异常检测，GAN如何gan ?
异常检测(Anomaly detection)，一个很常见的问题。 在图像方面，比如每天出入地铁安检，常常看到小姐姐小哥哥们坐在那盯着你的行李过检图像，类似如下（图来自GANomaly论文）： ? 又比如在一些医学图像分析上，源自健康人的影像也许是比较容易获取的，并且图像的“模式”往往固定或者不多变的，而病变的图像数量是很少、很难获取，或者病变区域多变、甚至未知的，此时异常检测就面临着正样本/异常图像很少 这种情况其实在很多场景下有所体现，比如工业视觉检测等等。 对于已知类别、数量较多情况下，不管异常与否，我们也许可以通过训练一个分类模型就能解决。 下面速览几篇论文、看看GAN是如何做异常检测的（数据主要为图像形式）： ---- 1. 3. 2018-12 Adversarially Learned Anomaly Detection 第二种方法的加强版，也是基于BiGAN,并且在稳定训练上做了些功夫。
3.2K30发布于 2020-04-27 - 来自专栏OpenCV与AI深度学习
用深度学习实现异常检测缺陷检测
作者：Mia Morton 编译：ronghuaiyang 导读 创建异常检测模型，实现生产线上异常检测过程的自动化。在选择数据集来训练和测试模型之后，我们能够成功地检测出86%到90%的异常。 在工厂中，异常检测由于其特点而成为质量控制系统的一个有用工具，对机器学习工程师来说是一个巨大的挑战。 不推荐使用监督学习，因为：在异常检测中需要内在特征，并且需要在完整数据集(训练/验证)中使用少量的异常。 背景研究 异常检测与金融和检测“银行欺诈、医疗问题、结构缺陷、设备故障”有关(Flovik等，2018年)。该项目的重点是利用图像数据集进行异常检测。它的应用是在生产线上。 铸造件E1&E3 ? 铸造件数据集的异常检测 挑战 训练时间长，在谷歌Colab和专业版中使用GPU训练。
3.7K21发布于 2021-02-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号