- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
10分钟掌握异常检测
异常检测(也称为离群点检测)是检测异常实例的任务，异常实例与常规实例非常不同。这些实例称为异常或离群值，而正常实例称为内部值。 异常检测可用于多种应用，例如： 欺诈识别 检测制造中的缺陷产品 数据清理——在训练另一个模型之前从数据集中去除异常值。 你可能已经注意到，一些不平衡分类的问题也经常使用异常检测算法来解决。 这是因为异常的重建误差总是比正常实例的重建误差大得多。 孤立森林和 SVM 一些监督学习算法也可用于异常检测，其中最流行的两种是孤立森林和 SVM。这些算法更适合奇异值检测，但通常也适用于异常检测。 如果这个特定点的密度比它的邻点低得多（这意味着它离它们很远），它被认为是一个异常。 该算法既可用于异常检测，也可用于奇异值检测。由于其计算简单且质量好，会被经常使用。 如果你做异常检测不是为了数据清理，首先试试简单快速的LOF。
80440发布于 2021-10-09 - 来自专栏机器学习/数据可视化
吴恩达笔记10_异常检测
吴恩达机器学习-10-异常检测 “黑中有白，白中有黑，没有绝对的白，也没有绝对的黑，黑可衬白，白可映黑。 万物皆可转换” 在本周中主要讲解了机器学习中的异常检测问题，主要包含： 问题产生 高斯分布 算法使用场景 八种无监督异常检测技术 异常检测和监督学习对比 特征选择 异常检测Novelty Detection 异常检测是一种用于识别不符合预期行为的异常模式的技术，又称之为异常值检测。 八种无监督异常检测技术 基于统计的异常检测技术 MA滑动平均法 3—Sigma（拉依达准则） 基于密度的异常检测 基于聚类的异常检测 基于``K-Means`聚类的异常检测 One Class SVM 的异常检测 Isolation Forest的异常检测 PCA+MD的异常检测 AutoEncoder异常检测 异常检测和监督学习对比 异常检测中采用的也是带标记的数据，和监督学习类似。
51310发布于 2021-03-02 - 来自专栏大数据-BigData
异常检测
什么是异常检测 异常检测是对罕见事件、项目或关注事件的识别，因为它们与大多数处理数据的特征不同。异常，也称为异常值，可以代表安全错误、结构缺陷，甚至银行欺诈或医疗问题。异常检测主要有三种形式。 第一种异常检测是无监督异常检测。该技术通过将数据点相互比较、为数据建立基线“正常”轮廓并寻找点之间的差异来检测未标记数据集中的异常。 相比之下，监督异常检测需要使用特定的“正常”和“异常”标签来训练数据集。最后，半监督异常检测技术要求分类器在“正常”数据集上进行训练以建立预设，然后分析预期数据以检测异常。 image.png 异常检测技术 有许多流行的异常检测技术。 异常检测的另一种形式的示例称为聚类分析。 聚类分析是分析活动爆发数据的技术，而不是特定的稀有对象。 异常检测的应用 异常检测用于欺诈和入侵检测、系统健康监测和生态系统干扰监测等应用。 例如，在欺诈检测中，银行可以分析一系列交易数据来监控和检测可能的欺诈实例。
94320编辑于 2022-03-18 - 来自专栏红色石头的机器学习之路
吴恩达《Machine Learning》精炼笔记 10：异常检测
在本文中主要讲解了机器学习中的异常检测问题，主要包含： 问题产生 高斯分布 算法使用场景 八种无监督异常检测技术 异常检测和监督学习对比 特征选择 异常检测Novelty Detection 异常是相对于其他观测数据而言有明显偏离的 异常检测是一种用于识别不符合预期行为的异常模式的技术，又称之为异常值检测。 八种无监督异常检测技术 基于统计的异常检测技术 MA滑动平均法 3—Sigma（拉依达准则） 基于密度的异常检测 基于聚类的异常检测 基于``K-Means`聚类的异常检测 One Class SVM 的异常检测 Isolation Forest的异常检测 PCA+MD的异常检测 AutoEncoder异常检测 异常检测和监督学习对比 异常检测中采用的也是带标记的数据，和监督学习类似。 二者对比为： 当正样本的数量很少，甚至有时候是0，即出现了太多没见过的不同的异常类型，对于这些问题，通常应该使用的算法就是异常检测算法。 特征选择 异常检测算法是基于高斯分布的。
40810编辑于 2022-01-20 - 来自专栏Python数据分析实例
推荐10款优秀的Python异常检测开源库
有三大类异常检测方法，无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集，并涉及到训练分类器。 半监督式异常检测方法根据一个给定的正常训练数据集建立一个表示正常行为的模型，然后检测由学习模型生成的测试实例的可能性。 2022年06月，在监督式学习中，去除异常数据的数据集往往会在统计上显著提升准确性，特别推荐10款优秀的Python计算生态，帮助您了解Python 的异常检测。 提供的功能包括常见的数据处理、时间序列的数据处理模块）算法或模块该可以处理时间异常序列检测：点的时间异常（异常是域的异常） 、模式的异常检测（异常是子序列）、系统的异常检测（异常是时间序列包的集合）。 https://github.com/datamllab/tods pygod Pygod 是一个用于图异常检测（异常检测）的Python 库。
3.4K11编辑于 2023-08-22 - 来自专栏深度学习进阶
AIOps异常检测（一）：基于AutoML的异常检测
内容简介 本文主要介绍两篇用AutoML来做异常检测的文章，《PyODDS: An End-to-end Outlier Detection System with Automated Machine 搜索空间 除网络结构外，AutoOD还新增了异常定义空间和损失函数空间。 image.png image.png image.png 异常定义空间 image.png 2.
1.3K30发布于 2021-09-15 - 来自专栏毛利学Python
异常值检测
异常值 异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。 异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。 环境 jupyter notebook 实战演练 现在老板给了我有个任务，说 ? False 读取数据 data = pd.read_csv('C0911.csv', header=0) # C0911.csv, C0904.csv x = data['H2O'].values 异常检测 # 10个决策树 br = BaggingRegressor(dtr, n_estimators=10, max_samples=0.3) br.fit(t[select].reshape(-1, 1) plt.grid(b=True, ls=':', color='#404040') plt.tight_layout(1.5, rect=(0, 0, 1, 0.95)) plt.suptitle('排污数据的异常值检测与校正
1.1K30发布于 2019-08-29 - 来自专栏又见苍岚
异常检测 OCGAN
深度学习实现异常检测时常用重构的方法，但是过程中会隐含地学习到对检测不利的内容，OCGAN 尝试克服该问题。 当前的方法认为latent representation包含这in-class样本的信息，从而对于in-class样本，其reconstruction的效果好而out-of-class样本的则差，进而能达到检测异常的目的 arxiv.org/pdf/1903.08550.pdf 问题复现 对于传统的 AE 模型，以手写数字辨识为例，对于简单的数字（如0，1），模型可以获得很高的准确率；但对于较为复杂的数字（如8），其检测的准确率会有所折扣
45610编辑于 2023-12-20 - 来自专栏又见苍岚
异常检测 DDAD
本文记录异常检测23年性能最佳的工作 DDAD 的原理以及官方源码解析。 简介 DDAD 是 2024 年以前 MVTec AD 数据集上性能最好的异常检测模型，本文解读相关论文并对源码进行解读 论文解读 基本信息 项目 内容 备注 方法名称 DDAD 论文题目 Anomaly 在异常检测推断流程中, 重构的目标图像会被设置为输入图像 x, 目的是基于 x 生成一幅没有缺陷的重构图 x_0, 之后比对 x_0 和 x 之间的差异判断是否存在异常. 最后将二者归一化加权叠加在一起得到异常分数： D_{anomaly}=\left(v\frac{\max(D_f)}{\max(D_p)}\right)D_p+D_f, 其中 域适应性 按照算法的完备性至此已经可以完成异常检测工作了 DDAD 实现异常检测需要分两阶段训练 训练去噪 Unet FineTune 特征提取器 推断时需要加载训练好的 Unet 和特征提取器 Unet 构建 Unet 模型的函数为 main.py ->
2.6K10编辑于 2024-01-11 - 来自专栏Soul Joy Hub
异常值检测
Anomaly Detection 异常值检测想要做的任务是从数据中找出与其他数据显著不同的数据，其具体应用有如：信用卡盗卡检测、网络攻击检测、癌细胞检测等。 2. 异常值检测能不能看做一个二分类任务来建模？通常来说，异常值不能被看做为一个类别，因为异常值的种类实在是太多了。 所以异常值检测很难直接被看做二分类任务。 3. 有Label数据的异常值检测 有Label数据如何做异常值检测呢？ 异常值检测任务： 收集训练集，训练集全部为正常值 训练分类模型 收集验证集，验证集中含着异常值样本 利用AUC等来衡量异常检测效果 4. 无Label数据的异常值检测 4.1 Likelihood 无Label数据的异常值检测思想和朴素贝叶斯相似，使用最大似然估计。我们可以假设各个特征的取值概率分布为高斯分布： ?
86020发布于 2019-04-22 - 来自专栏又见苍岚
异常检测 DiffusionAD
本文介绍 2023 年一篇异常检测中基于扩散模型实现异常检测的工作 —— DiffusionAD。 99.7% Segmentation AU-ROC 98.7% Segmentation AU-PRO 95.7% FPS 23.5 核心思想 用扩散模型作为数据重构子模块，结合一个分割网络用于异常检测 Loss 同时应用，以减少对异常值的过度敏感并准确分割困难异常样本。 将扩散模型与分割网络一起训练： $$ \mathcal{L}_{total}=\mathcal{L}_{noise}+\mathcal{L}_{mask}. $$ 异常生成 上述过程中需要大量带异常的数据才可以训练起来 ，论文中使用了人工制造异常的方式实现。
2.2K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 MemSeg
本文记录一篇生成异常数据用于自监督学习的异常检测工作 —— MemSeg。 一系列的操作将不同尺度信息充分融合又不冗余，实现检测及定位。 论文框架 上图为 MemSeg 整体架构，主要由 异常模拟、记忆模块和空间注意力组成。 异常模拟 监督学习分割网络关键在于生成异常数据，使用惯用套路，生成 mask，将其他图像叠加在 Mask 上，按照透明度融合在一起： I_n’=\delta\left(M\odot I_n\right 后经多尺度特征融合块，经U-Net跳跃连接（这里可以将一些模拟的可分性不强的异常特征去除，保证模拟的真实性。）进入解码器。 为什么不直接使用CI输入到空间注意模块进行计算呢？ 推断 直接端到端从输入图像到异常得分结果前向传播即可。
83710编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 SimpleNet
本文介绍异常检测 2023 年一篇优秀工作 —— SimpleNet。 但是异常样本的数量往往不足以支持训练，不同于其他文章生成异常图像，本文在特征空间中的正常样本上添加简单的噪声生成异常特征（文章声明该方法优于其他手工方法）。 ，直接输出 (h,w) 位置的正常水平，正常与添加过异常扰动的人工异常特征共同训练，相当于训练分类网络。 ，异常分数直接由一系列前向推导得到： $$ s_{h,w}^i=-D(q^i_{h,w}) $$ 推理过程中异常定位的异常图定义为： $$ S_{AL}(x_{i}):=\{s_{h,w}^{i}| 同时图像级异常检测结果的得分： S_{AD}(x_i):=\max_{(h,w)\in W_0\times H_0}s_{h,w}^i 由于网络简单，在 3080Ti 上 256*256 的图在未经过量化的模型上可以达到接近
1.1K10编辑于 2023-12-26 - 来自专栏又见苍岚
异常检测 DeepSVDD
本文记录神经网络用于一分类异常检测的开山工作 —— DeepSVDD。 简介 论文：Deep One-Class Classification 开源代码：https://github.com/lukasruff/Deep-SVDD-PyTorch 基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低 主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面，然后根据球心和测试样本点间的距离来判定样本点是否是异常。 推断 对于测试样本点 x\in X, 可以定义异常分数为输出空间中样本点到超球面球心的距离 $$ s(\boldsymbol{x})=\left\|\phi\left(\boldsymbol{x};
1.3K10编辑于 2023-12-26 - 来自专栏数说工作室
异常值检测
概括三种异常值检测方法 方法1：对总体进行统计建模来检测异常值 k个标准差以外的； 用指数加权移动回归； 类似CUSUM的一些方法，可以最快速的检测到一些变化。 多重校正其实也算是一种异常值的检测方法，进行多次独立test之后，比如1000次，有很多显著的结果，比如其中的100个都是显著的，但这100个中肯定有很多是由于”test太多了，碰巧造成的“，因为我们设定 关于多重校正，数说君之前专门写过一篇文章，戳这里：浅议P值校正 例2：光谱异常值检测 这个例子要检测有异常光谱的像素。怎么做的呢？ 例4：POS机支付信息的异常检测 这个项目中简单来说也分三步： 1）作者分了很多层建模型，对每个银行建模（银行维度）、对每个区域建模（区域维度）、对每种交易类型建模（交易类型维度）。 异常检测就是要寻找出背后这个机制。 我们将异常值就简单定义为，由一个不同的机制或者总体所产生值。 以上是数说君个人的理解，详细还是看PPT吧： ? : ? ? ? ? ? ? ? ? ? ?
1.5K50发布于 2018-04-04 - 来自专栏又见苍岚
异常检测 EfficientAD
本文记录异常检测 2023 年的一篇工作 EfficientAD。 在训练学生网络时, 如果使用过多的训练图像, 会使得学生模仿教师对异常数据的行为, 这样不利于异常检测；而故意减少训练图像的数量又会使得学生没有学到正常图像的重要信息. 这里当 p_{hard} 为 0 时则该 loss 退化为普通的 MSE 文章中设置 p_{hard} = 0.999, 表示仅用 千分之一的结果用于梯度回传, 原始用意是每个维度上使用 10% 的数据 逻辑异常检测 异常又很多种情况, 教师学生网络适合检测局部区域的异常, 而自编码器善于检测逻辑上的异常, 因此文章为了同时检测所有异常在教师学生网络之外, 使用自动编码器来学习训练图像的逻辑约束并检测对这些约束的违反 左右两组流程分别展示细节异常和逻辑异常的检测过程.
2.8K22编辑于 2024-01-09 - 来自专栏又见苍岚
异常检测 PatchSVDD
本文记录神经网络用于一分类异常检测的改进工作 —— PatchSVDD。 Segmentation 开源代码：https://github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch 改进 deep SVDD，提高异常检测能力与添加瑕疵定位能力 ，输出异常位置的热力图。 Patch~SVDD}}=\lambda\mathcal{L}_{\mathrm{SVDD}}+\mathcal{L}_{\mathrm{SSL}}. $$ 该 SSL loss 会提升对象类的图像的异常检测性能 encoder 后，提取并保留所有训练数据中的 Patch 特征，给定一个查询图像 x，其中的每个 Patch 通过编码器提取特征，每个Patch 特征在训练特征中距离最新的特征距离为该 Patch 的异常得分
73610编辑于 2023-12-26 - 来自专栏叽叽西
10 Java 异常
异常指的是程序运行时出现的不正常情况。程序运行过程中难免会发生异常，发生异常并不可怕，程序员应该考虑到有可能发生这些异常，编程时应能正确的处理异常，使成为健壮的程序。 异常的层次 Java 的异常类是处理运行时的特殊类，每一种异常对应一种特定的运行错误.所有Java异常类都是系统类库中 Exception 类的子类。 受检查异常和运行时异常 Java 的异常处理机制会区分两种不同的异常类型：已检异常 checked 和未检异常 unchecked (运行时异常)。 若想区分已检异常和未检异常，记住两点：异常是 Throwable 对象，而且异常主要分为两类，通过 Error 和 Exception 子类标识。只要异常对象是 Error 类，就是未检异常。 异常在子类覆盖中的体现 子类覆盖父类时, 如果父类的方法抛出的异常,那么子类只能抛出父类异常或该异常的子类. 如果父类方法抛出多个异常, 那么子类在覆盖方法时,只能抛出父类异常的子集.
1.2K30编辑于 2022-05-17 - 来自专栏CreateAMind
这个异常检测效果
Detecting outliers is an important task in machine learning, since if left unchecked they could hinder performance of our models. We focus on finding the reason an instance is an outlier, i.e. by finding the subset of features that if ignored the rest of the input is not an outlier anymore. We formulate the problem as a constrained monotonic submodular optimization task thanks to key properties of marginal distributions. Additionally, we leverage probabilistic circuits, which enable tractable marginal queries for arbitrary subsets, to further speed up the subset selection algorithm. We showcase the ability of finding the outlier features in a variety of different corruption scenarios, and show that finding and fixing the outlier features can help in downstream tasks such as classification.
39040编辑于 2023-02-14 - 来自专栏又见苍岚
异常检测 SVDD 算法
机器学习中的异常检测在很多场景有重要应用，本文记录 SVDD 算法。 简介 支持向量数据描述 SVDD（Support Vector Data Description，SVDD）是一种单值分类算法，能够实现目标样本和非目标样本的区分，通常应用于异常检测、入侵检测等领域。 SVDD 思想 SVDD 的思路是寻找一个尽可能小的高维球体，将训练数据容纳进去，那么在预测数据时，认为在球体之外的数据为异常数据。 判断新样本是否为异常点 对于一个新的样本点 z ，如果它满足下式，那么我们认为它是一个异常点。
3.4K20编辑于 2022-10-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号