首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏spark 与大数据

    特征漂移指标 PSI

    0.0002 0.006158 各分箱的 psi 求和 psi = psi_df['psi'].sum() print(psi) # 0.4533650280982507 通过上述代码实现可以看出:特征漂移实际是在计算预期数据和实际数据的分布差异情况 CSI psi 只能宏观判断出模型的稳定程度,如果不稳定,到底是哪些特征引起的不稳定?此时就需要使用特征稳定性指标(CSI)进行判断。计算方式没有什么变化,只是用的数据不一样而已。 上述代码中训练数据特征 x1、x2、x3,线上数据特征 z1、z2、z3。 回归问题的目标是找到输入特征与输出值之间的关系,以便能够对未知数据进行预测。房价预测就是个典型的回归问题。分类问题适用于样本划分不同类型的场景。 psi 还有个作用是用来筛选特征

    87540编辑于 2023-11-06
  • 来自专栏summerking的专栏

    浅谈VIP地址漂移

    # 何为漂移 通常情况下,两台服务器都具有一块以上的网卡,每块网卡都应该有一个IP地址,同时,还应该有一个漂移IP地址,该地址为工作IP地址。因此,最简单的主从方式下,双机系统要占用3个网络地址。 在发生主机切换的情况下,主机一的地址恢复为200.10.10.1,而主机二的地址会由200.10.10.2变为200.10.10.3,这就是地址漂移

    4.5K10编辑于 2022-10-27
  • 来自专栏python3

    笨办法学Python - 习题8-10:

    注意:上述代码说明两个点,一个是%r 的作用,是占位符,可以将后面给的值按原数据类型输出(不会变),支持数字、字符串、列表、元组、字典等所有数据类型。

    74300发布于 2020-02-10
  • 来自专栏全栈程序员必看

    VRRP虚IP漂移

    这时,虚拟地址 192.168.1.253 看上去就像是 漂移 到备用路由上一样。 换句话讲,网关成功进行切换,而且无需修改其他机器的网关配置! 主路由恢复,重新响应 ARP 请求,夺回流量; 备用路由发现主路由恢复,停止响应 ARP 请求,释放流量处理权; 总结起来, VRRP 主要做两件事情: 通过 ARP 响应 MAC 地址实现虚 IP 漂移 ; 通过健康检查决定什么时候进行虚 IP 漂移; 应用场景 本质上, VRRP 是用来实现高可用的,与网关无关。 局限性 由于 VRRP 依赖 ARP 实现 IP 漂移,因此相关机器必须在同个网络内, 不能跨网段 。

    1.5K30发布于 2021-04-07
  • 来自专栏云云众生s

    工程师配置漂移控制指南

    这种逐渐偏离已知良好配置——配置漂移——可能导致一系列问题,从不可预测的应用程序行为和性能瓶颈到明显的安全漏洞。 采用漂移检测和修复策略对于维护弹性基础设施至关重要。我转向著名的工程领导者,他们分享了他们解决配置漂移挑战的经验和最佳实践。他们的见解为在复杂环境中实施有效的策略来预防、检测和修复漂移提供了路线图。 他补充道:“在尽早发现漂移方面,像Driftctl和Terraform内置的漂移检测工具有助于在配置更改成为更大的问题之前发现它们。” 在存储方面,务必解决应用程序数据的存储方式和位置。 敏感信息不会直接暴露在配置中,从而降低了未经授权访问的风险,并防止了由过时或被泄露的凭据引起的漂移。 这种一致性对于维护基础设施稳定性和减少漂移至关重要。”

    69000编辑于 2025-02-06
  • 来自专栏网络工程师笔记

    如何处理MAC地址漂移

    一 什么情况下出现MAC漂移? MAC地址漂移是指设备上一个VLAN内有两个端口学习到同一个MAC地址,后学习到的MAC地址表项覆盖原MAC地址表项的现象。 二 如何处理MAC漂移 1、确认发生MAC地址漂移的接口 执行命令display mac-address flapping,查看设备上所有的MAC地址漂移的历史记录。 Move-Ports表示发生MAC地址漂移后的端口,可能出现多个漂移后端口。 2、检查是否存在环路 a、执行命令display interface brief | include up,检查接口流量。 3、检查是否存在相同MAC地址的终端或者非法用户MAC攻击 如果产生告警的MAC地址是固定的一个MAC地址或者少许MAC地址,且端口计数正常,可以根据发生MAC地址漂移的接口查找下挂终端是否存在使用相同 说明: 在使用多网卡对接服务器的场景下,交换机连接服务器的接口建议加入Eth-Trunk,或者关闭VLAN的MAC漂移检测功能。

    3.1K31发布于 2021-05-17
  • 来自专栏王的机器

    测度转换 (下) – 漂移项转换

    根据伊藤定理推出 由漂移项为零可推出 μQ= r。 CMG 定理只是在变换测度时,将一个无漂移的布朗运动变成了一个带漂移的布朗运动。布朗运动多出来的漂移可以在 SDE 上的漂移项上做调整,实际上测度变换能做的就是改变漂移项。 通常我们用 SDE 来模拟标的价格和计价物的价格,而 SDE 包含漂移项和扩散项,本章我们就来讨论「测度-计价物-漂移项」之间的关系。 如果 A(t) 和 B(t) 的漂移项也和资产价格水平成比例,即 我们可以继续化简上式 到此,我们有三种不同程度(从通用到特定)的漂移项关系,总结在下表。 技术附录 漂移项转换和布朗运动转换 ?

    2.6K10发布于 2020-02-17
  • 来自专栏用户5637037的专栏

    基于视觉分析的过程漂移综合检测

    原文标题:Comprehensive Process Drift Detection with Visual Analytics 摘要:最近的研究将概念漂移的思想引入到过程挖掘中,以便能够分析业务流程随时间的变化 然而,这种研究还没有解决漂移分类、钻探和量化的挑战。本文提出了一种新的过程漂移管理技术-视觉漂移检测(VDD)。 该技术首先对从执行业务流程的记录日志中发现的基于相似性的声明性流程约束进行聚类,然后在识别的集群上应用变更点检测来检测漂移。VDD通过详细的可视化和对漂移的解释来补充这些特性。

    72060发布于 2019-07-17
  • 来自专栏云云众生s

    如何控制云基础设施漂移

    在此过程中,我们每月处理近 320,000 次漂移,因此我们真正了解基础设施漂移问题的巨大规模和影响。我们还发现,90% 使用 IaC 的大规模部署都会遇到漂移,而其中约有一半的情况未被发现。 基础设施漂移的表现形式 基础设施漂移可以采取多种形式,通常始于小的变化,然后逐渐演变成重大的差异。 首先:主动漂移检测的实用方法 有效管理漂移需要强大的监控和检测,以及行之有效的方法来尽快减轻漂移漂移检测工具:Driftctl 和 KubeDiff 等开源工具提供有针对性的漂移检测功能。 这些是检测漂移的好方法,但目标必须是修复漂移。 接下来:漂移修复策略 修复漂移主要有两种形式:使云环境与 IaC 保持一致,或更新 IaC 以反映实际状态。

    44010编辑于 2024-12-04
  • 来自专栏CNCF

    使用Argo CD和GitOps解决配置漂移问题

    这种持续的监视对于解决配置漂移非常重要,配置漂移在具有大量部署目标的组织中是一个非常常见的问题。 不同Kubernetes集群之间的配置漂移 配置漂移是一个即使在传统虚拟机中也存在的问题,而且早在Kubernetes出现之前,它就一直困扰着生产部署。 另一个由配置漂移引起的隐藏问题是,逐渐丢失了在机器/节点上部署了什么以及最后一次更改的确切时间的知识。Argo CD解决了这个问题,它将Git作为当前部署和过去所有部署的真实来源。 其他CI/CD解决方案将完全忽略此更改,这为配置漂移问题提供了环境。 Argo CD会理解集群上发生了变化,这两种状态(集群配置和Git清单)不再相同。 这意味着Argo CD配置的漂移(至少对Kubernetes应用程序而言)完全消除了,特别是在启用了自动同步行为的情况下。

    1.4K40发布于 2020-12-24
  • 来自专栏工程师看海

    高通滤波器去除基线漂移案例分析

    以前介绍过低通滤波器、高通滤波器以及一阶滤波器和二阶滤波器的差别,今天结合下实际案例介绍下高通滤波器去除人体基线漂移的过程。 4550.html 一阶滤波器和二阶滤波器: https://www.dianyuan.com/eestar/article-4626.html 事情的背景是采集人体生物信号时,发现采集的信号一直上升,不断漂移 这属于低频干扰,最简单最常见的做法就是在ADC的前端加入一个高通滤波器 下图是取消所有信号调理电路,只加入高通滤波器后的采集结果如下图,采集了整整90秒,信号漂移被抑制掉。

    91420编辑于 2022-06-23
  • 来自专栏云云众生s

    Reddit不再受漂移的Kubernetes配置困扰

    仍在工作的集群的配置已经发生漂移,并以未记录的方式变得定制化。 停用集群相当于“昂贵的考古学搜寻,以找到所有必须停用的不同基础设施”,说。

    38010编辑于 2025-01-11
  • 分布漂移下的实时异常检测技术

    理论框架与算法创新通过对抗性建模将数据分布漂移和异常值统一视为"遗忘型对手"的干预。 提出裁剪随机梯度下降(clipped SGD)方法,其核心创新在于:梯度裁剪机制:通过动态计算样本影响力上限(clipping threshold),限制异常样本对模型的干扰自适应学习率:推导出介于分布漂移最优速率与噪声环境最优速率之间的平衡值无先验假设 :不依赖数据方差边界或分布形式的预设条件关键技术突破双重容错能力:首次严格证明算法可同时处理分布漂移(概念漂移)和异常值(标签噪声)误差边界控制:采用马蒂格尔浓度不等式证明误差阈值的高概率收敛性动态适应 :性能随数据流复杂度(漂移幅度/异常比例)自动平滑退化实验验证在MNIST数据集构建验证场景:基准分布:旋转数字"0"作为正常样本异常样本:其他数字(如"1"-"9")漂移模拟:在关键节点切换基准数字(

    16900编辑于 2025-08-04
  • 来自专栏深度学习与python

    基础设施即代码:只是漂移管理还不够

    也许,代码漂移是最常见的漂移类型,但由于现如今软件架构和依赖关系的复杂性,配置漂移也很常见。开发人员可能会在分支创建完成后在过渡环境或预生产环境中新建一张表。 在接下来的几节中,我们将介绍几种配置漂移的管理方法。 图 1 代码漂移示例 配置漂移的影响 代码会在多个环境中“传播”,从个人工作站到共享开发、测试、QA、过渡以及生产环境。 配置漂移会影响员工满意度,导致与开发体验相关的指标下降。 减少漂移的方法 配置漂移多少有些不可避免。不过有许多方法可以减少配置漂移。在接下来的内容中,我们将探讨漂移管理的一些实用方法。 总    结 在可预见的未来,配置漂移仍然不可避免。而市场上正在实施的一些配置管理方法,如自动对比环境的当前配置和基线配置,能缓解配置漂移的副作用。 通过维护每个环境的状态,可以知道它是否发生了漂移,并决定是否触发一次自动更新。我们希望任何生产环境都不出现漂移

    89720编辑于 2023-03-29
  • 来自专栏云深之无迹

    参考源漂移如何影响系统精度(YUNSWJ 解读版)

    LT1021 的数据手册实在是宝贝,这篇文章解读里面的参考漂移如何影响系统精度,以及如何通过 TRIM 引脚微微修正。 Effect of Reference Drift on System Accuracy 参考漂移如何影响系统精度 原文在说什么 A large portion of the temperature drift 在很多系统中,温度漂移误差预算里最大的一块,往往来自“参考电压”本身;不是 ADC、不是放大器、不是算法,而是 Vref。 比如我现在的目标是:10 V 基准,只有十 µV 级漂移→ 1 ppm 级 这意味着什么?即便是 LT1021-10B(2–5 ppm/°C),在 ±10°C 内→ 也必然超预算。

    13810编辑于 2026-01-23
  • 来自专栏云云众生s

    API漂移的浪潮:使用模拟来保持漂浮

    一个两部分系列中的第一部分 随着APIs 的发展,它们面临着一个常见的问题:API漂移。 API漂移是指API的实际实现随着时间的推移偏离其已记录或预期的设计(规范)的情况。 关于API漂移的详解 从根本上说,当API在功能、格式或结构方面承诺交付的内容(通常在API文档中说明)与它在运行时实际交付的内容不匹配时,API漂移就显而易见了。 API模拟作为避免API漂移的主动解决方案 使用API模拟是阻止API漂移的最佳策略之一。创建模拟API响应以反映实际API的预期行为是API模拟 的本质。 API漂移如何使变更管理复杂化 API漂移导致API的文档行为与实际行为之间出现差异,从而无法精确跟踪和协作,这对于高效的变更管理至关重要。 这种开放性降低了误解的可能性,增强了协调性,并保证每个修改都针对相同的准确基线进行评估 降低累积漂移的风险: 实时数据还有助于防止累积漂移。当文档和实现处于持续观察和改进状态时,漂移的可能性较小。

    73110编辑于 2024-11-26
  • 来自专栏微卡智享

    Android OpenCV(四十四):图像分割(均值漂移

    均值漂移(Mean-Shift) MeanShfit 均值漂移算法是一种通用的聚类算法,通常可以实现彩色图像分割。 参数三:sp,漂移的物理空间半径大小。 参数四:sr,漂移的颜色空间半径大小。 参数五:maxLevel,用于分割的金字塔的最大级别。 参数六:termcrit,终止标准:何时停止均值漂移迭代。 sp,sr越大,平滑效果越明显,处理时间越长 操作 由于Mean-Shift均值漂移无法直接分割图像,我们配合漫水填充法执行分割操作。 /** * Mean-Shift 均值漂移 * * @author yidong * @date 11/25/20 */ class MeanShiftActivity : AppCompatActivity

    1.2K50发布于 2021-07-30
  • 来自专栏AI 算法笔记

    特征工程之特征缩放&特征编码

    (上) 特征工程之数据预处理(下) 本篇文章会继续介绍特征工程的内容,这次会介绍特征缩放和特征编码,前者主要是归一化和正则化,用于消除量纲关系的影响,后者包括了序号编码、独热编码等,主要是处理类别型、文本型以及连续型特征 ---- 3.2 特征缩放 特征缩放主要分为两种方法,归一化和正则化。 本质是因为独热编码之后的特征的表达能力较差。该特征的预测能力被人为的拆分成多份,每一份与其他特征竞争最优划分点都失败。最终该特征得到的重要性会比实际值低。 那么什么时候需要采用特征离散化呢? 这背后就是需要采用“海量离散特征+简单模型”,还是“少量连续特征+复杂模型”的做法了。 对于线性模型,通常使用“海量离散特征+简单模型”。 假设有连续特征j ,离散化为 N个 0/1 特征;连续特征 k,离散化为 M 个 0/1 特征,则分别进行离散化之后引入了 N+M 个特征

    1.7K20发布于 2019-08-16
  • 来自专栏机器人网

    风云突变,世界电子版图大漂移

    大概是从2011年开始,日系电子企业开始了全面溃败,转眼四年过去,中国企业的格局都更新换代了几次,日本那边依旧处於泥泞之中,无法自拔。现在,关于日系电子企业的新闻充斥着亏损、裁员、撤退等负面字眼,总能让人闻到一股死亡的味道。那些昔日辉煌的企业,比如索尼、夏普、日立、任天堂等等,不仅是日本电子业的骄傲,也让全世界为之疯狂,时至今日,笔者有位朋友的抽屉里还安放着索尼的walkman和PSP,但它们已经永远地沉睡了,朋友想听歌了就打开iPhone6 Plus,想玩游戏了就打开iPhone6 Plus,

    1K60发布于 2018-04-13
  • 来自专栏机器学习算法原理与实践

    特征工程之特征表达

              在特征工程之特征选择中,我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程,不过会重点关注于特征表达部分,即如果对某一个特征的具体表现形式做处理。 主要包括缺失值处理,特殊的特征处理比如时间和地理位置处理,离散特征的连续化和离散化处理,连续特征的离散化处理几个方面。 1. 对地理特征,比如“广州市天河区XX街道XX号”,这样的特征我们应该如何使用呢?处理成离散值和连续值都是可以的。如果是处理成离散值,则需要转化为多个离散特征,比如城市名特征,区县特征,街道特征等。 处理方法其实比较简单,比如某特征的取值是高,中和低,那么我们就可以创建三个取值为0或者1的特征,将高编码为1,0,0这样三个特征,中编码为0,1,0这样三个特征,低编码为0,0,1这样三个特征。 比如对于用户的ID这个特征,如果要使用独热编码,则维度会爆炸,如果使用特征嵌入就维度低很多了。对于每个要嵌入的特征,我们会有一个特征嵌入矩阵,这个矩阵的行很大,对应我们该特征的数目。

    1.1K30发布于 2018-08-07
领券