- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据-BigData
异常检测
什么是异常检测 异常检测是对罕见事件、项目或关注事件的识别，因为它们与大多数处理数据的特征不同。异常，也称为异常值，可以代表安全错误、结构缺陷，甚至银行欺诈或医疗问题。异常检测主要有三种形式。 第一种异常检测是无监督异常检测。该技术通过将数据点相互比较、为数据建立基线“正常”轮廓并寻找点之间的差异来检测未标记数据集中的异常。 相比之下，监督异常检测需要使用特定的“正常”和“异常”标签来训练数据集。最后，半监督异常检测技术要求分类器在“正常”数据集上进行训练以建立预设，然后分析预期数据以检测异常。 image.png 异常检测技术 有许多流行的异常检测技术。 异常检测的另一种形式的示例称为聚类分析。 聚类分析是分析活动爆发数据的技术，而不是特定的稀有对象。 异常检测的应用 异常检测用于欺诈和入侵检测、系统健康监测和生态系统干扰监测等应用。 例如，在欺诈检测中，银行可以分析一系列交易数据来监控和检测可能的欺诈实例。
1.1K20编辑于 2022-03-18 - 来自专栏MyBlog
时序数据异常检测(2)指数平滑方法
上文我们使用LOF-ICAD方法实现了时序数据的异常检测, 这次我们介绍一种更为常见的方法-------指数平滑. 指数平滑的方法, 其原理就是通过拟合出一个近似的模型来对未来进行预测, 我们可以通过这个预测来和实际的值进行比较, 如果差距过大, 我们就可以判定这个点是异常的.
1.6K10发布于 2018-09-13 - 来自专栏深度学习进阶
AIOps异常检测（一）：基于AutoML的异常检测
内容简介 本文主要介绍两篇用AutoML来做异常检测的文章，《PyODDS: An End-to-end Outlier Detection System with Automated Machine 搜索空间 除网络结构外，AutoOD还新增了异常定义空间和损失函数空间。 image.png image.png image.png 异常定义空间 image.png 2.
1.5K30发布于 2021-09-15 - 来自专栏毛利学Python
异常值检测
异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。 环境 jupyter notebook 实战演练 现在老板给了我有个任务，说 ? '].values 异常检测 # 75000个太多了 width = 500 # 步长 delta = 10 # 设置阈值 eps = 0.15 N = len(x) # 75000多 p = [] 说明ptp()函数 ptp()是计算最大值与最小值差的函数 >>> x = np.arange(4).reshape((2,2)) >>> x array([[0, 1], [2, 3]] ) >>> np.ptp(x, axis=0) array([2, 2]) >>> np.ptp(x, axis=1) array([1, 1]) 根据图中很容易看出数据的分布，上面的代码就是为了找出 plt.grid(b=True, ls=':', color='#404040') plt.tight_layout(1.5, rect=(0, 0, 1, 0.95)) plt.suptitle('排污数据的异常值检测与校正
1.2K30发布于 2019-08-29 - 来自专栏又见苍岚
异常检测 OCGAN
深度学习实现异常检测时常用重构的方法，但是过程中会隐含地学习到对检测不利的内容，OCGAN 尝试克服该问题。 当前的方法认为latent representation包含这in-class样本的信息，从而对于in-class样本，其reconstruction的效果好而out-of-class样本的则差，进而能达到检测异常的目的 arxiv.org/pdf/1903.08550.pdf 问题复现 对于传统的 AE 模型，以手写数字辨识为例，对于简单的数字（如0，1），模型可以获得很高的准确率；但对于较为复杂的数字（如8），其检测的准确率会有所折扣 这里的噪声采用的是零均值高斯白噪声，并取方差为2。 那么对于输入图片x和噪音n，Loss的计算式为： l_{\mathrm{MSE}}=||x-\mathrm{De}(\mathrm{En}(x+n))||_2^2 Latent Discriminator
62810编辑于 2023-12-20 - 来自专栏又见苍岚
异常检测 DDAD
本文记录异常检测23年性能最佳的工作 DDAD 的原理以及官方源码解析。 简介 DDAD 是 2024 年以前 MVTec AD 数据集上性能最好的异常检测模型，本文解读相关论文并对源码进行解读 论文解读 基本信息 项目 内容 备注 方法名称 DDAD 论文题目 Anomaly 利用输入图像和目标图像构建条件扩散模型, 用于输入图像重构2. 通过预训练网络提取输入图像和重构图像特征进行比对, 结合像素级比对得到异常分数图3. 在异常检测推断流程中, 重构的目标图像会被设置为输入图像 x, 目的是基于 x 生成一幅没有缺陷的重构图 x_0, 之后比对 x_0 和 x 之间的差异判断是否存在异常. 最后将二者归一化加权叠加在一起得到异常分数： D_{anomaly}=\left(v\frac{\max(D_f)}{\max(D_p)}\right)D_p+D_f, 其中 域适应性 按照算法的完备性至此已经可以完成异常检测工作了
2.9K10编辑于 2024-01-11 - 来自专栏Soul Joy Hub
异常值检测
Anomaly Detection 异常值检测想要做的任务是从数据中找出与其他数据显著不同的数据，其具体应用有如：信用卡盗卡检测、网络攻击检测、癌细胞检测等。 2. 异常值检测能不能看做一个二分类任务来建模？通常来说，异常值不能被看做为一个类别，因为异常值的种类实在是太多了。 所以异常值检测很难直接被看做二分类任务。 3. 有Label数据的异常值检测 有Label数据如何做异常值检测呢？ 异常值检测任务： 收集训练集，训练集全部为正常值 训练分类模型 收集验证集，验证集中含着异常值样本 利用AUC等来衡量异常检测效果 4. 无Label数据的异常值检测 4.1 Likelihood 无Label数据的异常值检测思想和朴素贝叶斯相似，使用最大似然估计。我们可以假设各个特征的取值概率分布为高斯分布： ?
93620发布于 2019-04-22 - 来自专栏又见苍岚
异常检测 DiffusionAD
本文介绍 2023 年一篇异常检测中基于扩散模型实现异常检测的工作 —— DiffusionAD。 99.7% Segmentation AU-ROC 98.7% Segmentation AU-PRO 95.7% FPS 23.5 核心思想 用扩散模型作为数据重构子模块，结合一个分割网络用于异常检测 扩散模型学习正常样本 (y=0) 的重建过程： $$ \mathcal{L}_{noise}=\frac{(1-y)(\|\epsilon_{t_s}-\epsilon_\theta(x_{t_s})\|^2+ \|\epsilon_{t_b}-\epsilon_\theta(x_{t_b})\|^2)}{2}. $$ 分割网络直接预测异常得分 Mask： $$ \mathcal{L}_{mask}=\ ，论文中使用了人工制造异常的方式实现。
2.5K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 MemSeg
本文记录一篇生成异常数据用于自监督学习的异常检测工作 —— MemSeg。 一系列的操作将不同尺度信息充分融合又不冗余，实现检测及定位。 论文框架 上图为 MemSeg 整体架构，主要由 异常模拟、记忆模块和空间注意力组成。 异常模拟 监督学习分割网络关键在于生成异常数据，使用惯用套路，生成 mask，将其他图像叠加在 Mask 上，按照透明度融合在一起： I_n’=\delta\left(M\odot I_n\right \frac{1}{C_{2}}\Big(\sum_{i=1}^{C_{2}}DI_{2i}^{*}\Big)\odot M_{3}^{U} \\ M_{1} =\frac{1}{C_{1}}\Big(\ L1 比 L2 保留更多边缘信息。focal 缓解样本不平衡问题，使模型专注于分割本身而不是样本的情况。 推断 直接端到端从输入图像到异常得分结果前向传播即可。
99810编辑于 2023-12-26 - 来自专栏数说工作室
异常值检测
概括三种异常值检测方法 方法1：对总体进行统计建模来检测异常值 k个标准差以外的； 用指数加权移动回归； 类似CUSUM的一些方法，可以最快速的检测到一些变化。 方法2：聚类法 聚类之后，通过比较每个点到每类的距离，可以发现异常点。但是， 距离的定义有很多种； 聚类的方法也不止一种。 因此最终的结果也不是一定的。 方法3：近邻比较 比较与周围点的分布密度，比如某一段的密度曲线明显与周围其他地方不一样，那么就存在异常情况。 2. 关于多重校正，数说君之前专门写过一篇文章，戳这里：浅议P值校正 例2：光谱异常值检测 这个例子要检测有异常光谱的像素。怎么做的呢？ 2）在转换过的5D空间里（对应5个主成分），进行K均值聚类。k=50，距离采用马氏距离。 3）根据每个点到类（一般是我们感兴趣的那个类）的距离，对每个点进行异常程度打分，将结果可视化。
1.7K50发布于 2018-04-04 - 来自专栏又见苍岚
异常检测 EfficientAD
本文记录异常检测 2023 年的一篇工作 EfficientAD。 在教师学生网络架构上提出更高效的网络, 可以快速推断得出异常检测结果2. 高效地结合了自动编码器和教师学生网络的结果3. 在训练学生网络时, 如果使用过多的训练图像, 会使得学生模仿教师对异常数据的行为, 这样不利于异常检测；而故意减少训练图像的数量又会使得学生没有学到正常图像的重要信息. 逻辑异常检测 异常又很多种情况, 教师学生网络适合检测局部区域的异常, 而自编码器善于检测逻辑上的异常, 因此文章为了同时检测所有异常在教师学生网络之外, 使用自动编码器来学习训练图像的逻辑约束并检测对这些约束的违反 左右两组流程分别展示细节异常和逻辑异常的检测过程.
3.4K22编辑于 2024-01-09 - 来自专栏又见苍岚
异常检测 SimpleNet
本文介绍异常检测 2023 年一篇优秀工作 —— SimpleNet。 Simple Network for Image Anomaly Detection and Localization 论文连接 https://arxiv.org/pdf/2303.15140v2. {N}(\mu,\sigma^2)$，异常特征 $q^{i-}_{h,w}$ 表示为： $$ q_{h,w}^{i-}=q_{h,w}^{i}+\epsilon $$ 判别器 判别器用于判断数据是否为异常 文章仅使用 2 层感知机来完成这个步骤。 判别器标记为 ： D_{\psi}(q_{h,w})\in\mathbb{R}. 同时图像级异常检测结果的得分： S_{AD}(x_i):=\max_{(h,w)\in W_0\times H_0}s_{h,w}^i 由于网络简单，在 3080Ti 上 256*256 的图在未经过量化的模型上可以达到接近
1.4K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 PatchSVDD
本文记录神经网络用于一分类异常检测的改进工作 —— PatchSVDD。 Segmentation 开源代码：https://github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch 改进 deep SVDD，提高异常检测能力与添加瑕疵定位能力 ，输出异常位置的热力图。 是8个位置的任意一点，分类器需要识别 P_{2} 是哪一个位置。 Patch~SVDD}}=\lambda\mathcal{L}_{\mathrm{SVDD}}+\mathcal{L}_{\mathrm{SSL}}. $$ 该 SSL loss 会提升对象类的图像的异常检测性能
89710编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 DeepSVDD
本文记录神经网络用于一分类异常检测的开山工作 —— DeepSVDD。 简介 论文：Deep One-Class Classification 开源代码：https://github.com/lukasruff/Deep-SVDD-PyTorch 基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低 主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面，然后根据球心和测试样本点间的距离来判定样本点是否是异常。 R^2\right\}+\frac{\lambda}{2}\sum\limits_{\ell=1}^L\left\|\boldsymbol{W}^\ell\right\|_F^2 $$ 这种范式下训练数据中既可以存在正样本也可以存在负样本 推断 对于测试样本点 x\in X, 可以定义异常分数为输出空间中样本点到超球面球心的距离 $$ s(\boldsymbol{x})=\left\|\phi\left(\boldsymbol{x};
1.5K10编辑于 2023-12-26 - 来自专栏CreateAMind
这个异常检测效果
Detecting outliers is an important task in machine learning, since if left unchecked they could hinder performance of our models. We focus on finding the reason an instance is an outlier, i.e. by finding the subset of features that if ignored the rest of the input is not an outlier anymore. We formulate the problem as a constrained monotonic submodular optimization task thanks to key properties of marginal distributions. Additionally, we leverage probabilistic circuits, which enable tractable marginal queries for arbitrary subsets, to further speed up the subset selection algorithm. We showcase the ability of finding the outlier features in a variety of different corruption scenarios, and show that finding and fixing the outlier features can help in downstream tasks such as classification.
47640编辑于 2023-02-14 - 来自专栏vincent随笔
异常检测 anomaly detection
异常检测的应用 欺诈检测 工业质量监测 计算机集群监测 等等 image.png 建立一个异常检测系统的一般步骤 将带有label的数据集划分为训练集、验证集和测试集 注意将异常数据大致平均分配到每个集合中 通常情况下，验证集和测试集的数据都应该是互不相同的，即两个集合没有交集 使用训练集训练算法P(x) 为了避免正负样本分布不均，使用F1-score来评价算法性能 使用验证集来选择阈值ϵ 异常检测和监督学习的区别 异常检测 正例（异常样本）通常都非常少，通常是10这个数量级。 异常的种类非常多，无法通过特征一一确定。未来的异常种类不能预见。
66230发布于 2021-08-18 - 来自专栏又见苍岚
异常检测 SVDD 算法
机器学习中的异常检测在很多场景有重要应用，本文记录 SVDD 算法。 简介 支持向量数据描述 SVDD（Support Vector Data Description，SVDD）是一种单值分类算法，能够实现目标样本和非目标样本的区分，通常应用于异常检测、入侵检测等领域。 SVDD 思想 SVDD 的思路是寻找一个尽可能小的高维球体，将训练数据容纳进去，那么在预测数据时，认为在球体之外的数据为异常数据。 \right)^{T}\left(x^{(i)}-a\right) \leq R^{2}+\xi_{i}, \\ \quad \xi_{i} \geq 0, i=1,2, \cdots, m . 判断新样本是否为异常点 对于一个新的样本点 z ，如果它满足下式，那么我们认为它是一个异常点。
3.5K20编辑于 2022-10-31 - 来自专栏新智元
GAN如何异常检测？最新《生成式对抗网络异常检测》综述论文，概述异常检测的典型GAN模型
本文综述了主要的基于GAN的异常检测方法，并突出了它们的优缺点。 异常是数据中不符合正常行为的定义(Chandola et al., 2009)的模式。 这种GAN特性表明它们可以成功地用于异常检测，尽管它们的应用只是最近才被探索出来。 使用GAN进行异常检测的任务是使用对抗性训练过程建模正常行为，并测量异常评分来检测异常(Schlegl等人，2017)。 第2节介绍了使用GAN进行异常检测的最新架构。在第3节中，我们对所有分析的架构进行了经验评估。最后，第四部分是结论和未来的研究方向. GAN异常检测 基于GAN的异常检测是一个新兴的研究领域。 EGBAD 高效基于GAN的异常检测(EGBAD) (Zenati et al.， 2018)将BiGAN架构引入到异常检测领域。
3.4K40发布于 2021-10-13 - 来自专栏机器学习与生成对抗网络
异常检测，GAN如何gan ?
异常检测(Anomaly detection)，一个很常见的问题。 在图像方面，比如每天出入地铁安检，常常看到小姐姐小哥哥们坐在那盯着你的行李过检图像，类似如下（图来自GANomaly论文）： ? 又比如在一些医学图像分析上，源自健康人的影像也许是比较容易获取的，并且图像的“模式”往往固定或者不多变的，而病变的图像数量是很少、很难获取，或者病变区域多变、甚至未知的，此时异常检测就面临着正样本/异常图像很少 这种情况其实在很多场景下有所体现，比如工业视觉检测等等。 对于已知类别、数量较多情况下，不管异常与否，我们也许可以通过训练一个分类模型就能解决。 下面速览几篇论文、看看GAN是如何做异常检测的（数据主要为图像形式）： ---- 1. 原理： 训练时，约束正常的数据编码得到潜在空间表示z1，和对z1解码、再编码得到的z2，差距不会特别大，理想应该是一样的。
3.4K30发布于 2020-04-27 - 来自专栏OpenCV与AI深度学习
用深度学习实现异常检测缺陷检测
作者：Mia Morton 编译：ronghuaiyang 导读 创建异常检测模型，实现生产线上异常检测过程的自动化。在选择数据集来训练和测试模型之后，我们能够成功地检测出86%到90%的异常。 在工厂中，异常检测由于其特点而成为质量控制系统的一个有用工具，对机器学习工程师来说是一个巨大的挑战。 不推荐使用监督学习，因为：在异常检测中需要内在特征，并且需要在完整数据集(训练/验证)中使用少量的异常。 背景研究 异常检测与金融和检测“银行欺诈、医疗问题、结构缺陷、设备故障”有关(Flovik等，2018年)。该项目的重点是利用图像数据集进行异常检测。它的应用是在生产线上。 利用图像比较度量对模型进行训练，建立直方图，并计算阈值，根据该阈值对图像进行异常和非异常的分类。 我们从逐个像素的L2欧氏距离开始。结果并不能确定其中的一些差异。
3.9K21发布于 2021-02-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号