首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏阿黎逸阳的代码

    模型稳定性指标—PSI

    模型效果主要从两个方面衡量: 1.模型本身的效果,主要评价指标包括区分度、准确度等。 2.模型稳定性,主要评价指标包括PSI和CSI等。 之前阐述了模型本身的评价指标:混淆矩阵、F1值、KS曲线、count_table和ROC曲线AUC面积,本文介绍模型稳定性指标PSI。 模型PSI关注训练集和验证集,以及模型上线部署后,模型的分布是否稳定。 为什么要关注模型稳定性? 而且,在模型训练过程中,虽然有测试集衡量模型稳定性,但仍不能排除模型存在过拟合的情况。 这些原因都可能导致模型在面对近期样本时,没有那么稳定。所以我们要关注模型稳定性2 PSI计算公式 不管是变量PSI还是模型PSI,其底层逻辑是一样的。

    4.7K11编辑于 2023-08-21
  • 来自专栏Python数据科学

    风控模型:PSI 稳定性指标详解(Python)

    这是对风控宏观层面的理解,将视角缩小至风控模型上,也是如此。风控模型人员在做模型时可能更关注效果AUC/KS等评估指标,效果胜过一切。但其实对于模型而言,稳定性的重要程度要胜过效果。 本文将介绍风控中稳定性指标PSI的概念和理解,以及A卡模型上线后如何对模型分及入模变量进行稳定性观测。 step2: 按相同分箱区间,对实际分布(actual)统计各分箱内的样本占比。 : 模型分数:对模型输出的概率结果或者分数结果进行PSI稳定性的检验,使用场景可以为以上三种 变量值:对入模变量进行PSI稳定性的检验,使用场景同样为以上三种 举个例子,比如模型已经正式上线,我们通过监控报表发现近期通过率在不断地升高 这种波动或者异常说明模型可能在衰减,结果在发生偏移。为了验证我们的猜想,就需要计算模型逐月的PSI稳定性指标。

    6.3K11编辑于 2023-11-30
  • 来自专栏算法工程师的学习日志

    Matlab-二自由度汽车操纵稳定性模型

    以前做的一个课堂作业,分享给有需求的读者 1 模型假设 1) 忽略转向系的影响,以前、后轮转角作为输入; 2) 汽车只进行平行于地面的平面运动,而忽略悬架的作用; 3) 汽车前进(纵轴)速度不变,只有沿 2 模型建立 根据模型假设建立如图1所示的二自由度汽车模型。 图1 二自由度汽车模型模型受力分析,存在3个方向的受力平衡,分别为x、y和绕Z的力矩平衡,建立力学方程如下。 3 模型仿真 下表为已知的车辆参数, 在MATLAB>Simulink中搭建状态空间模型模型如图所示。 图2 状态空间模型 (1)在前轮偏转角为1°,后轮偏转角为0°,车速为40km/h的情况下,输出前后轮的横向位移情况,输出结果如图3。 4 结论 通过建立汽车动力学模型,对汽车操纵性进行饿模拟。根据仿真结果可以发现车速和前轮转角都对二自由度汽车的操纵稳定性有很大影响。汽车以较低速度、较小的前轮转角行驶时,是相对安全的。

    1.2K20编辑于 2022-07-27
  • 来自专栏阿甘的码路2

    稳定性治理二,稳定性分析

    支付宝2015年发生了大规模的宕机事件,原因是杭州市萧山区某地光纤被挖断导致,为确保异地容灾、多活,后面专门进行了全链路单元化改造,整个交易链路都进行了单元化改造,并且经常在大促前夕进行单机房演练;

    90551编辑于 2023-08-17
  • 来自专栏xingoo, 一个梦想做发明家的程序员

    选择模型2

    选择模型 fd_set结构可以把多个套接字连在一起,形成一个套接字集合 typedef struct fd_set{ u_int fd_count;//下面数组的大小 SOCKET fd_array[FD_SETSIZE struct timeval{ long tv_sec;//指示等待多少秒 long tv_usec;//指示等待多少毫秒 }timeval; 应用举例 1 初始化fdSocket集合,添加监听套接字句柄 2 当有事件发生的时候,select函数移除fRead中没有未决IO操作的句柄,然后返回 3 比较原来的fdSocket集合,与select处理过的fdRead集合,确定哪些套接字有未决IO并处理这些IO 4 回到2进行选择 1 CInitSock theSock;//初始化winsock库 2 int main() 3 { 4 USHORT nPort=4567;//此服务器监听的端口号 5 / ); 15 return 0; 16 } 17 //进入监听模式 18 ::listen(sListen,5); 19 20 //select模型处理过程

    747100发布于 2018-01-17
  • 来自专栏韩曙亮的移动开发专栏

    【数字信号处理】离散时间系统稳定性 ( 稳定性概念 | 稳定性用法 )

    文章目录 一、离散时间系统稳定性 二、离散时间系统稳定性实际用法 一、离散时间系统稳定性 ---- 线性时不变 LTI 系统 , 如果 " 输入序列 " 有界 , 则 " 输出序列 " 也有界 ; 充要条件 : \sum^{+\infty}_{m = -\infty} |h(n)| < \infty 二、离散时间系统稳定性实际用法 ---- 实际用途 : 设计一个 滤波器 , 设计完 滤波器参数 后 ,

    3.9K30编辑于 2023-03-30
  • 来自专栏Listenlii的生物信息笔记

    网络属性专题2-脆弱性及组成稳定性

    组成稳定性(compositional stability): 评估群落结构随时间的变化。 网络中微生物群落的组成稳定性计算为: 公式中,v为同一地点在多个连续时间点采集的样本数,S为网络中总OTU数。yi,k为样本i中OTU k的丰度。 (ps:这个指数一般用来计算带时间节点的数据) 在文章中的应用为: 图中显示的是时间间隔为一年条件下(order=2,其中x轴的1表示的第二年与第一年之间的网络物种组成稳定性值,2表示的是第三年与第二年之间的网络物种组成稳定性值 这里的图中显示的就是order=3,4,5,6条件下,网络物种组成的稳定性值。 Long-term exposure to elevated CO2 enhances plant community stability by suppressing dominant plant species

    2K20发布于 2021-08-27
  • 来自专栏JAVA

    解决AI训练中的“Convergence Warning”报错:提高模型稳定性 ️‍♂️

    本文将详细分析“Convergence Warning”报错的成因,并提供一系列提高模型稳定性的技巧和方法,以帮助大家优化模型训练过程。 理解并解决这一问题对于提升模型稳定性和准确性至关重要。 “Convergence Warning”报错的成因分析 1. 学习率设置不当 学习率是影响模型训练速度和稳定性的重要参数。 () 提高模型稳定性的技巧 1. 正则化技术 通过L1、L2正则化或Dropout技术,可以有效防止模型过拟合,提高模型的收敛性。 A: 数据增强技术通过增加训练数据的多样性,提升模型的泛化能力,防止过拟合,从而提高模型的收敛性和稳定性

    52510编辑于 2024-11-22
  • 来自专栏机器学习/数据可视化

    模型评估方法-2

    在S上进行训练模型,在T上进行测试和评估误差,作为对泛化误差的估计。注意点: 训练/测试集合的划分应该尽量保持数据分布的一致性,避免因为数据划分过程而引入额外的偏差。 比如S中350个正例,350个反例;T中150个正例,150个反例 即使确定了划分比例之后,不同的划分方法仍然对模型的评估造成缺别。 交叉验证法 现将数据集合D划分成k个大小相似的互斥子集D_1,D_2,…,D_k。每个子集尽量保持数据分布的一致性,即从D中分层采样得到。 交叉验证法评估结果的稳定性和保真性在很大程度上是取决于k值,其最常用的是10,称之为10折交叉验证法。 交叉验证也需要随机使用不同的划分重复p次,最终的评估结果是p次k折验证的平均值。

    75710发布于 2021-03-02
  • 来自专栏飞鸟的专栏

    2、OSI模型-概述

                    用户服务层的模块设计可相对独立于具体的通信线路和通信硬件接口的差别                 而通信服务层的模块设计又可相对独立于具体用户的应用要求不同 二、OSI 7层模型 1974年,ISO(开放的通信系统互联参考模型)组织发布了OSI参考模型。 应用层,表示层,会话层,传输层,网络层,数据链路层,物理层 1、OSI框架图 1.jpg 2、按照层间关系划分为两部分 应用层,表示层,会话层是基于操作系统的。 传输层,网络层,数据链路层,物理层是基于数据通信的 2.jpg 3、数据流层 物理层:OSI最底层,所有数据传输的基础,比如网线,网卡。 数据链路层:OSI中从底层到上层,第一层涉及数据封装的。

    70140编辑于 2022-01-05
  • 来自专栏全栈程序员必看

    live2d模型_判别模型

    1、 https://unpkg.com/live2d-widget-model-chitose@1.0.5/assets/chitose.model.json 2、 https://unpkg.com /live2d-widget-model-epsilon2_1@1.0.5/assets/epsilon2_1.model.json 3、 https://unpkg.com/live2d-widget-model-gf /live2d-widget-model-haruto@1.0.5/assets/haruto.model.json 7、 https://unpkg.com/live2d-widget-model-hibiki /live2d-widget-model-koharu@1.0.5/assets/koharu.model.json 11、 https://unpkg.com/live2d-widget-model-miku live2d-widget-model-shizuku@1.0.5/assets/shizuku.model.json 18、 https://unpkg.com/live2d-widget-model-tororo

    37220编辑于 2022-09-20
  • 来自专栏翻译scikit-learn Cookbook

    2 Working with Linear Models 2 线性模型

    this chapter, we will cover the following topics:在这章,将涵盖以下主题: 1、 Fitting a line through data将数据进行线性拟合 2、 Evaluating the linear regression model评估线性回归模型 3、 Using ridge regression to overcome linear regression's 4、 Optimizing the ridge regression paramete最优化岭回归参数 5、 Using sparsity to regularize models使用稀疏性来标准化模型 线性模型是机器学习的基本分析方法,很多方法依赖变量组合间的线性关系来描述数据之间的关系,通常,为了让数据能够被线性关系描述,必须进行很大的努力来做必要的变换。

    51100发布于 2019-11-10
  • 来自专栏朴素人工智能

    表格问答2模型

    每个Database包含若干张表格(2-11张,平均4.1张),人工构建了表之间的链接操作(即foreign key)。 ——2020语言与智能技术竞赛:语义解析任务 说回正题,今天我们将介绍两个NL2SQL模型,X-SQL和HydraNet。它俩都来自微软,分别推出于2019年和2020年。 X-SQL跟它之前的方案比如SQlNET[2]、SQLOVA[3]都比较像,很有代表性;HydraNet对前人解决问题的大框架做了一些修改,变得更加简洁,也更符合预训练语言模型的使用习惯,应该会给大家一点启发 X-SQL模型 ? X-SQL模型结构 上图是X-SQL的模型结构图,乍一看还是挺复杂的。模型主要分为三层,编码器、上下文强化层和输出层,我们逐层来解析。 为了处理conds为空的情况,模型引入了一个特殊列,用[EMPTY]来表示。模型还把原来BERT的Segment Embedding扩展成了图中黄色的Type Embedding。

    1.4K20发布于 2020-04-20
  • 来自专栏DeepHub IMBA

    5种常用的交叉验证技术,保证评估模型稳定性

    换句话说,为什么一个模型在私有排行榜上评估时会失去稳定性? 在本文中,我们将讨论可能的原因。我们还将学习交叉验证和执行它的各种方法。 模型稳定性? 总是需要验证你的机器学习模型稳定性。 这有助于实现更一般化的关系,并维护模型稳定性。 交叉验证是什么? 交叉验证是一种在机器学习中用于评估机器学习模型性能的统计验证技术。 这个度量将有助于更好地一般化模型,并增加模型稳定性。 交叉验证(LOOCV) 在这种方法中,我们将现有数据集中的一个数据点放在一边,并在其余数据上训练模型。这个过程迭代,直到每个数据点被用作测试集。 折叠的创建方式如下: Train 1— [2014] Test 1— [2015] Train2–[2014,2015] Test2 — [2016]….so on 我们逐步地选择一个新的列车和测试集 我们选择一个列车集,它具有最小的观测量来拟合模型。逐步地,我们在每个折叠中改变我们的列车和测试集。 总结 在本文中,我们讨论了过拟合、欠拟合、模型稳定性和各种交叉验证技术,以避免过拟合和欠拟合。

    1.8K20发布于 2020-06-17
  • 来自专栏机器人课程与技术

    micro-ROS之esp32与ros2稳定性

    测试了一段时间,还不错,很稳定,当然时间并不长约(4.478小时)。

    36930发布于 2021-12-02
  • 来自专栏圆圆的算法笔记

    谷歌KDD23工作:如何提升推荐系统ranking模型训练稳定性

    谷歌在KDD 2023发表了一篇工作,探索了推荐系统ranking模型的训练稳定性问题,分析了造成训练稳定性存在问题的潜在原因,以及现有的一些提升模型稳定性方法的不足,并提出了一种新的梯度裁剪方式,提升了 ranking模型的训练稳定性。 1、模型背景 本文以Youtube中的ranking模型为例,进行推荐系统ranking模型训练稳定性的分析。 2、影响稳定性的因素 为什么推荐系统中的模型,存在这样的训练稳定性问题呢? ,梯度的L2范数太大就缩小梯度)。

    89540编辑于 2023-08-17
  • 来自专栏贰叁壹运维

    持续稳定性考察

    依据考察目的的不同,上市产品稳定性考察可分为常规稳定性考察、刚上市产品的稳定性考察和特殊稳定性考察。 常规稳定性考察:针对正常生产条件下的常规产品而进行的持续稳定性考察。 稳定性考察条件 中国大部分地区位于亚热带,属于国际协调委员会ICH规定的Ⅱ区,按其规定,上市产品常规稳定性考察条件为:温度25℃±2℃,相对湿度60%±5%。 《中国药典》2015年版对常规品种稳定性考察规定的条件为:温度25℃±2℃,相对湿度60%±10。对于特殊产品,应参照其特殊储存条件设置考察条件。 稳定性考察批次和取样时间点 常规稳定性考察:通常要求同一品种每个规格至少考察1批。对于稳定性较差(如容易降解)的产品,应该根据该产品历史稳定性数据适当增加考察批数。 稳定性数据的评价 稳定性考察有助于发现产品稳定性变化趋势,确保产品在运输、储存和使用过程中的质量。

    2.6K40发布于 2021-05-06
  • 来自专栏程序员升级之路

    Redis稳定性实践

    二、大促时稳定性保障 大促的时候因为流量比往常高几倍,甚至是几十倍,更需要保证系统稳定性。 1、避免触发全量主、从同步 Redis主从机制分全量同步、增量同步2种,在大促的时候如果触发主、从同步全量同步是非常危险的,在主上可能会阻塞请求,从因为也要将数据加载到内存中,所以也可能导致客户端报错, 2)、repl-timeout 主从之间的复制超时时间,默认为60s,可以根据情况自己调整。 2) client buffer的大小达到了hard limit,server也会立即断开和客户端的连接。 2、aof rewrite 如果持久化方式配置为aof的话,大促的时候需要注意不要触发aof rewrite,因为这个也会阻塞用户的请求。

    1.6K31发布于 2020-09-11
  • 来自专栏王小雷

    HBase数据模型(2)

    HBase数据模型(1) HBase数据模型(2) 1.0 HBase的版本version,是一个用长整型表示的。 HBase数据模型(1) HBase数据模型(2)

    1.6K80发布于 2018-01-05
  • 来自专栏后端技术

    kafka 网络模型2 Selector

    在上一篇文章中,我分析了Kafka的请求、响应流程,但留下了Selector的疑点。本文会分析Selector和它的poll()是如何进行网络IO的,NetworkReceive是如何被完整读取的,Send是如何被完整写出的,还会涉及到KafkaChannel和它的mute机制。

    1.1K30发布于 2020-06-09
领券