首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏spark 与大数据

    特征漂移指标 PSI

    0.0002 0.006158 各分箱的 psi 求和 psi = psi_df['psi'].sum() print(psi) # 0.4533650280982507 通过上述代码实现可以看出:特征漂移实际是在计算预期数据和实际数据的分布差异情况 CSI psi 只能宏观判断出模型的稳定程度,如果不稳定,到底是哪些特征引起的不稳定?此时就需要使用特征稳定性指标(CSI)进行判断。计算方式没有什么变化,只是用的数据不一样而已。 上述代码中训练数据特征 x1、x2、x3,线上数据特征 z1、z2、z3。 令 p2 = x1, a2 = z1, 计算出 psi1; 令 p2 = x2, a2 = z2, 计算出 psi2; 令 p2 = x3, a2 = z3, 计算出 psi3; 通过 psi* 就能看出是哪个特征引起的不稳定 psi 还有个作用是用来筛选特征

    87440编辑于 2023-11-06
  • 来自专栏summerking的专栏

    浅谈VIP地址漂移

    # 何为漂移 通常情况下,两台服务器都具有一块以上的网卡,每块网卡都应该有一个IP地址,同时,还应该有一个漂移IP地址,该地址为工作IP地址。因此,最简单的主从方式下,双机系统要占用3个网络地址。 在发生主机切换的情况下,主机一的地址恢复为200.10.10.1,而主机二的地址会由200.10.10.2变为200.10.10.3,这就是地址漂移。 ] on bond0 (192.168.1.217) at 00:21:5A:DB:68:E8 [ether] on bond0 (192.168.1.218) at 00:21:5A:DB:7F:C2 ) at 00:21:5A:DB:68:E8 [ether] on bond0 (192.168.1.218) at 00:21:5A:DB:7F:C2 [ether] on bond0 这就是奥妙所在 00:21:5A:DB:7F:C2的机器,也就是218的机器。

    4.5K10编辑于 2022-10-27
  • 来自专栏大数据进阶

    scala(2):Trait(特征)

    obj.asInstanceOf[Point].x == x } object Test { def main(args: Array[String]) { val p1 = new Point(2, 3) val p2 = new Point(2, 4) val p3 = new Point(3, 3) println(p1.isNotEqual(p2)) println(p1.isNotEqual (p3)) println(p1.isNotEqual(2)) }} 执行以上代码,输出结果为: $ scalac Test.scala $ scala Testfalsetruetrue 特征构造顺序 特征也可以有构造器,由字段的初始化和其他特征体中的语句构成。 构造器的执行顺序: 调用超类的构造器; 特征构造器在超类构造器之后、类构造器之前执行; 特征由左到右被构造; 每个特征当中,父特征先被构造; 如果多个特征共有一个父特征,父特征不会被重复构造 所有特征被构造完毕

    39730发布于 2019-09-17
  • 来自专栏小鹏的专栏

    2特征Feature2D—特征点的图像匹配

    基于特征点的图像匹配是图像处理中经常会遇到的问题,手动选取特征点太麻烦了。比较经典常用的特征点自动提取的办法有Harris特征、SIFT特征、SURF特征。 先介绍利用SURF特征特征描述办法,其操作封装在类SurfFeatureDetector中,利用类内的detect函数可以检测出SURF特征的关键点,保存在vector容器中。 /SURF_descriptor <img1> <img2>" << std::endl; } 当然,进行强匹配的效果不够理想,这里再介绍一种FLANN特征匹配算法。 前两步与上述代码相同,第三步利用FlannBasedMatcher类进行特征匹配,并只保留好的特征匹配点,代码如下: //-- Step 3: Matching descriptor vectors using 我们说的特征的最大特点就是它具有唯一可识别这一特点,图像特征的类型通常指边界、角点(兴趣点)、斑点(兴趣区域)。角点就是图像的一个局部特征,应用广泛。

    77510编辑于 2022-05-09
  • 来自专栏全栈程序员必看

    VRRP虚IP漂移

    这时,虚拟地址 192.168.1.253 看上去就像是 漂移 到备用路由上一样。 换句话讲,网关成功进行切换,而且无需修改其他机器的网关配置! 主路由恢复,重新响应 ARP 请求,夺回流量; 备用路由发现主路由恢复,停止响应 ARP 请求,释放流量处理权; 总结起来, VRRP 主要做两件事情: 通过 ARP 响应 MAC 地址实现虚 IP 漂移 ; 通过健康检查决定什么时候进行虚 IP 漂移; 应用场景 本质上, VRRP 是用来实现高可用的,与网关无关。 局限性 由于 VRRP 依赖 ARP 实现 IP 漂移,因此相关机器必须在同个网络内, 不能跨网段 。

    1.5K30发布于 2021-04-07
  • 来自专栏大阳岛

    LegoLoam(2)特征提取

    概述 本节主要讲节LeogLoam中点云特征提取部分 2. 特征提取 2.1 点云预处理 点云数据的坐标轴进行交换,变换后的坐标轴如下图: 图片 点云数据计算偏航角yaw, yaw = -\arctan(point.x, point.z) (-atan2 z5 = -sinImuPitchStart * y4 + cosImuPitchStart * z4; // 绕z轴(原先的x轴)变换角度到初始imu时刻,另外需要加上imu的位移漂移 表示从start时刻到cur时刻的漂移, // (imuShiftFromStart.. ,每条扫描线的特征点,分成6段,每段找出2个曲率最大的非地面点特征作为cornerPointsSharp,和20个曲率大的非地面点作为cornerPointsLessSharp;选择4个曲率最小的地面特征点作为

    1.4K20编辑于 2023-02-17
  • 来自专栏云云众生s

    工程师配置漂移控制指南

    这种逐渐偏离已知良好配置——配置漂移——可能导致一系列问题,从不可预测的应用程序行为和性能瓶颈到明显的安全漏洞。 采用漂移检测和修复策略对于维护弹性基础设施至关重要。我转向著名的工程领导者,他们分享了他们解决配置漂移挑战的经验和最佳实践。他们的见解为在复杂环境中实施有效的策略来预防、检测和修复漂移提供了路线图。 代码即合规性 想想所有您必须满足的那些繁琐的合规性要求——SOC 2、ISO 27001、PCI DSS,等等。代码即合规性将这些通常含糊不清的任务转化为可执行代码。 他补充道:“在尽早发现漂移方面,像Driftctl和Terraform内置的漂移检测工具有助于在配置更改成为更大的问题之前发现它们。” 在存储方面,务必解决应用程序数据的存储方式和位置。 这种一致性对于维护基础设施稳定性和减少漂移至关重要。”

    69000编辑于 2025-02-06
  • 来自专栏机器学习之禅

    机器学习之特征筛选(2

    继上篇的介绍了特征筛选中的TF-IDF与信息增益后,本篇继续介绍卡方检验和互信息。 卡方检验 开方检验其实是数理统计中一种常用的检验两个变量独立性的方法,在特征选择方面,其主要计算特征项ti与类别Cj之间的关联程度,如果特征项对于某类的卡方值越高,则其与该类之间的相关性越大 ,从侧面可以反映出特征项对该类携带的信息越多,反之则越少。 互信息值越大,特征项ti与Cj类的共现程度越大,继卡方检验中对各个变量的约定,ti与Cj类的互信息为: 同样对于多分类的情况,我们需要统计出ti与各个Cj类的互信息值,将互信息值低于预定阈值的特征项予以剔除 以上介绍的四种只是众多特征选择过程中用到的几个策略,其他的如皮尔逊系数、期望交叉熵等,但在进行特征选择之后,都会遇到特征空间的髙维数问题,即常说的”维数灾难“,因此需要在降维方面做更多的研究与实验,后期也会对降维进行分享

    43220编辑于 2022-07-11
  • 来自专栏王的机器

    测度转换 (下) – 漂移项转换

    和 X2 满足 A 的概率为 把纵轴向左平移 μ 个单位得到一个新的坐标系,在次坐标系下的测度起名为 Q 测度。 (2,1,1) plot(x,P,'r-',x,Q,'b-') legend('P','Q') subplot(2,1,2) plot(x,eta,'k-') 上半图画出 Q 和 P 测度下的 PDF CMG 定理只是在变换测度时,将一个无漂移的布朗运动变成了一个带漂移的布朗运动。布朗运动多出来的漂移可以在 SDE 上的漂移项上做调整,实际上测度变换能做的就是改变漂移项。 2 漂移项转换 2.1 通用定理 回顾一下 RN-导数和计价物的关系。 3 实际应用 在本节中,我们运用第 2 节推导出来的公式来计算利率 Quanto、商品 Quanto 和 LIA 里面的标的资产 SDE 在不同测度下的漂移项。

    2.6K10发布于 2020-02-17
  • 来自专栏网络工程师笔记

    如何处理MAC地址漂移

    一 什么情况下出现MAC漂移? MAC地址漂移是指设备上一个VLAN内有两个端口学习到同一个MAC地址,后学习到的MAC地址表项覆盖原MAC地址表项的现象。 二 如何处理MAC漂移 1、确认发生MAC地址漂移的接口 执行命令display mac-address flapping,查看设备上所有的MAC地址漂移的历史记录。 ---------------------------------- S:2011-12-11 11:00:08 3 0000-08cc-2206 10GE1/0/1 10GE1/0/2 Move-Ports表示发生MAC地址漂移后的端口,可能出现多个漂移后端口。 2、检查是否存在环路 a、执行命令display interface brief | include up,检查接口流量。 说明: 在使用多网卡对接服务器的场景下,交换机连接服务器的接口建议加入Eth-Trunk,或者关闭VLAN的MAC漂移检测功能。

    3.1K31发布于 2021-05-17
  • 来自专栏编程

    Python面向对象2:继承、多态特征

    面向对象的第二个特征是继承。 可以将多个类共有的方法提取到父类中,子类仅需继承父类; 基本语法为class新类名(父类1,父类2,..) 继承的性质特征: 子类会继承父类的所有的属性和方法,子类也可以覆盖父类同名的变量和方法。 调用方法执行顺序:(见案例) 在调用方法时,先调用子类自己的方法,子类无,再去父类中查找。 F2 #2)self代表s2本身,因s2自己有F2,再执行S2的F2 obj2.F3() 执行结果: 案例3:多继承,无共同的父类,执行顺序:从左(先往上)再往右。 ,c11,c_1,c21,c_2,找到,执行结果c_2.f2 obj.f4()#依次找寻c3,c11,c_1,c21,c_2,c0找到,执行结果,c0.f2 执行顺序: 面向对象的第三个特征是多态:指参数的 但python基本上不用管这个特征,因为python定义变量时,可以不指定类型。如下案例,可以传入不同的参数类型,比如字典、列表、数字、string等。

    87060发布于 2018-01-29
  • 来自专栏用户5637037的专栏

    基于视觉分析的过程漂移综合检测

    原文标题:Comprehensive Process Drift Detection with Visual Analytics 摘要:最近的研究将概念漂移的思想引入到过程挖掘中,以便能够分析业务流程随时间的变化 然而,这种研究还没有解决漂移分类、钻探和量化的挑战。本文提出了一种新的过程漂移管理技术-视觉漂移检测(VDD)。 该技术首先对从执行业务流程的记录日志中发现的基于相似性的声明性流程约束进行聚类,然后在识别的集群上应用变更点检测来检测漂移。VDD通过详细的可视化和对漂移的解释来补充这些特性。

    72060发布于 2019-07-17
  • 来自专栏狼组安全团队

    C2上线操作 修改特征

    北美第一突破手 本文字数:1270 阅读时长:10分支 附件/链接:点击查看原文下载 声明:请勿用作违法用途,否则后果自负 本文属于WgpSec原创奖励计划,未经许可禁止转载 前言 今天一起来学习下C2修改特征 DNS与CDN上线 更多学习内容可以前往公开知识库 wiki.wgpsec.org 一、 基础设施搭建 C2翻译本:https://blog.ateam.qianxin.com/CobaltStrike4.0 用户手册_中文翻译.pdf 基础使用 服务器配置 yum insatll java # java环境搭建 chmod 777 teamserver # teamserver加权 修改特征 firewall-cmd RSA -alias 360.com -dname "CN=US, OU=360.com, O=Sofaware, L=Somewhere, ST=Cyberspace, C=CN" 默认证书信息,特征明显 二、 运行C2 运行C2: .

    1.7K10发布于 2021-02-04
  • 来自专栏点云PCL

    3D特征点概述(2

    紧接上文思路继续介绍3D特征的基本概念问题。 ? RIFT (Rotation-Invariant Feature Transform) RIFT是一种局部特征描述法,且该方法扩展于SIFT。 有关特征计算的更多详细信息,请参阅原始论文:http://hal.inria.fr/docs/00/54/85/30/PDF/lana_pami_final.pdf ? NARF (Normal Aligned Radial Feature) 这是一个局部特征点,NARF功能扩展了SIFT(Lowe)的一些概念。 RSD (Radius-based Surface Descriptor) 是一种局部特征点 输入格式: (1)由一组带有方向信息点P组成的点云。带有方向意味着所有点都具有正常的n法线。 (4)得到的直方图和半径组可以与其他点云的组合进行比较,以便找到对应关系 ESF (Ensemble of Shape Functions)(拓展一个特征点) 是一种局部特征点,参考文章 ▪ A3

    1.9K50发布于 2019-07-30
  • 来自专栏云云众生s

    如何控制云基础设施漂移

    在此过程中,我们每月处理近 320,000 次漂移,因此我们真正了解基础设施漂移问题的巨大规模和影响。我们还发现,90% 使用 IaC 的大规模部署都会遇到漂移,而其中约有一半的情况未被发现。 基础设施漂移的表现形式 基础设施漂移可以采取多种形式,通常始于小的变化,然后逐渐演变成重大的差异。 首先:主动漂移检测的实用方法 有效管理漂移需要强大的监控和检测,以及行之有效的方法来尽快减轻漂移漂移检测工具:Driftctl 和 KubeDiff 等开源工具提供有针对性的漂移检测功能。 这些是检测漂移的好方法,但目标必须是修复漂移。 接下来:漂移修复策略 修复漂移主要有两种形式:使云环境与 IaC 保持一致,或更新 IaC 以反映实际状态。

    44010编辑于 2024-12-04
  • 来自专栏CNCF

    使用Argo CD和GitOps解决配置漂移问题

    这种持续的监视对于解决配置漂移非常重要,配置漂移在具有大量部署目标的组织中是一个非常常见的问题。 不同Kubernetes集群之间的配置漂移 配置漂移是一个即使在传统虚拟机中也存在的问题,而且早在Kubernetes出现之前,它就一直困扰着生产部署。 另一个由配置漂移引起的隐藏问题是,逐渐丢失了在机器/节点上部署了什么以及最后一次更改的确切时间的知识。Argo CD解决了这个问题,它将Git作为当前部署和过去所有部署的真实来源。 其他CI/CD解决方案将完全忽略此更改,这为配置漂移问题提供了环境。 Argo CD会理解集群上发生了变化,这两种状态(集群配置和Git清单)不再相同。 这意味着Argo CD配置的漂移(至少对Kubernetes应用程序而言)完全消除了,特别是在启用了自动同步行为的情况下。

    1.4K40发布于 2020-12-24
  • 来自专栏书山有路勤为径

    特征点法视觉里程计(2D-2D)

    SLAM中,可以利用图像特征点作为SLAM中的路标 特征点:图像当中具有代表性的部分 可重复性 可区别性 高效 本地 特征点的信息: 位置、大小、方向、评分——关键点 特征点周围的图像信息——描述子(Descriptor ) 例子:SIFT/SURF/ORB OpenCV features2d 模块 ORB特征 关键点:Oriented FAST 描述:BRIEF FAST 连续N个点的灰度有明显差异 Oriented :比较图1中每个特征和图2特征的距离(汉明距离) 加速:快速最近邻居(FLANN) 特征匹配之后,得到特征点之间的对应关系 如果只有两个单目图像,得到2D-2D的关系——对极几何 如果匹配的是帧和地图, 得到3D-2D的关系—— PnP 如果匹配的是RGB-D,得到3D-3D的关系——ICP 2D-2D对极几何 P在两个图像的投影为 ? 2D-2D对极几何小结 2D-2D情况下,只知道图像坐标之间的对应关系 当特征点在平面上时,(例如俯视或者仰视),使用H恢复R,t 否则,使用E或F恢复R,t t没有尺度 求得R,t后: 利用三角化计算特征点的

    1.3K20发布于 2019-06-15
  • 来自专栏Michael阿明学习之路

    Feature Engineering 特征工程 2. Categorical Encodings

    Count Encoding 计数编码 计数编码,就是把该类型的value,替换为其出现的次数 例如:一个特征中CN出现了100次,那么就将CN,替换成数值100 category_encoders.CountEncoder model on the baseline data train, valid, test = get_data_splits(data) bst = train_model(train, valid) 2. 目标编码:将会用该特征值的 label 的平均值 替换 分类特征值 For example, given the country value “CA”, you’d calculate the average 举例子:特征值 “CA”,你要计算所有 “CA” 行的 label(即outcome列)的均值,用该均值来替换 “CA” This is often blended with the target probability 这种编码方法会产生新的特征,不要把验证集和测试集拿进来fit,会产生数据泄露 Instead, you should learn the target encodings from the training

    1.2K20发布于 2020-07-13
  • 来自专栏blog-技术博客

    人工智能_2_特征处理.py

    # 特征处理 # 特征预处理:通过统计方法将数据转换为算法需要的数据 # 数值型数据:标准缩放 # 规依法,标准化(常用,适用于当前大数据),缺失值处理(删除,填补中位数平均数,通常按照列填补 缩放函数 """ # 当数据的n个特征同等重要的时候,要进行归一化, # 使得某一个特征对最终结果不会造成更大的影响(其实主要与算法有关,) # 容易受异常点影响,容易更改max,min的值 from )) data = mms.fit_transform(matrix) print(data) """ [[3. 2. 2. 2. # 主要方法:特征选择,主成分分析 # 特征选择的原因:冗余,噪音 # 方式: # 过滤式(主要过滤方差),例如方差为0的,或很小的 就可以过滤 # 嵌入式(正则化,决策树 ,考虑要不要使用使用PCA,(图片可能有上万个特征) # 特征数量很少的时候,可以不使用 # PCA(n_components=) n_components # 小数:指定保留的信息量 0-1之间

    43230发布于 2020-05-08
  • 来自专栏又见苍岚

    矩阵分解 -2- 特征值分解

    线性代数中,特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。 也称 v 为特征值 λ 对应的特征向量。也即特征向量被施以线性变换 A 只会使向量伸长或缩短而其方向不被改变。 \ } 称多项式 p(λ) 为矩阵 A 的特征多项式。上式亦称为矩阵 A 的特征方程。特征多项式是关于未知数 λ 的 N 次多项式。由代数基本定理,特征方程有 N 个解。 进行因式分解,而得到 {\displaystyle p\left(\lambda \right)=(\lambda -\lambda {1})^{n{1}}(\lambda -\lambda {2} )^{n{2}}\cdots (\lambda -\lambda {k})^{n{k}}=0!

    2.4K20编辑于 2022-10-05
领券