首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SAMshare

    ML | 建模的KS

    我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

    5.8K31编辑于 2022-02-25
  • 来自专栏LieBrother

    何为

    定义 是风险控制的简称,在百度百科中是这么定义风险控制的。 在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种的手段。 这里我们着重了解下信贷下的,结合了场景的,则赋予了更多的意义。 信贷的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷的核心。 ,以及在信贷场景下的如何实现,的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。 文章例子参考《智能平台:架构、设计与实现》

    2.6K21编辑于 2022-12-20
  • 来自专栏SAMshare

    ML | 建模的WOE与IV

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是 Blank')[labels == 0] value_list = set(data_bad.unique()) | set(data_good.unique()) value_list Step3

    4.4K20发布于 2021-11-30
  • 来自专栏全栈程序员必看

    信贷模型搭建及核心模式分类

    3.大数据模式 大数据模式是指通过对海量的、多样化的、实时的、有价值的数据进行采集、整理、分析和挖掘,并运用大数据技术重新设计征信评价模型算法,多维度刻画信用主体的“画像”,向信息使用者呈现信用主体的违约率和信用状况 3.评分卡的开发应用 在互联网金融评分卡开发过程中,我们仔细研究了企业操作流程,反复推敲了模型构建步骤,最后我们认为从业务应用角度,评分卡开发应用应遵循: 业务定义➡️风险定义 ➡️风险分解➡️ 另外,模型在不同的阶段体现的方式和功能也不一样。 所以说,模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道规则的。 四、的核心 如果说金融产品的核心是,那么的核心是什么? 3.调整指标分数,给出评分 在模型建立的后期,我们必须要输入个人信息进行模型的测试,前面我们建立每个指标的评分规则,但是我们并不知道这些规则是否真的适用于市场。

    3.8K11编辑于 2022-08-14
  • 来自专栏全栈程序员必看

    支付模型

    二、基于规则的 规则是最常用的,也是相对来说比较容易上手的模型。从现实情况中总结出一些经验,结合名单数据,制定规则,简单,有效。 常见的规则有: 1. 3. 业务规则 和特定各业务相关的一些规则,比如: 同一个人绑定银行卡张数超过10张。 同一张银行卡被超过5个人绑定。 同一个手机号被5个人绑定。 互联网金融离不开机器学习,特别是支付。 在各种支付模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。 这个过程,将在下一篇的架构中介绍。 五、模型评估 本质上是对交易记录的一个分类,所以对模型的评估,除了性能外,还需要评估“查全率”和“查准率”。 支付场景分析 ; 支付数据仓库建设 ; 支付模型和流程分析(本文); 支付系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

    4K22编辑于 2022-08-11
  • 来自专栏用户3246163的专栏

    1.1 原则

    提高业务绩效 04.3 描述一个CRO的角色和职责,评估CRO如何和其他高管协作 CRO职责 1.对公司面临的所有风险负责 2.开发和实现ERM策略 工作范围: 1.设置公司全局风险偏好 2.度量和量化风险 3. 设置风险限制 4.开发风险系统 关键技能: 1.领导力 2.说服力 3.有能力保护公司资产 4.理解所有风险的技术技能 5.教育board和业务条线的顾问技能 和其他高管合作: 汇报给CEO/CFO,还有和 不可以故意的歪曲报道 不可以从事任何不诚实 不可以从事任何危害GARP和FRM的事情 注意文化不同,出现冲突应该应用最高标准 2 利益冲突 任何情况下保持公平,公开所有冲突 全面和公平的公开所有问题 3

    3.1K60发布于 2018-09-14
  • 来自专栏SAMshare

    ML | 建模中怎么做拒绝推断

    建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。 其中,数据法中提到的3种方式都是比较好理解的。 cutoff一般按照业务经验来设置,就是拒绝样本中被赋予通过的样本,其badrate水平,是正常放款样本中的badrate水平的2~4倍; 4、根据步骤3设置的cutoff,高于这个阈值的赋予good标签 06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适 Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

    2.9K30编辑于 2022-11-14
  • 来自专栏SAMshare

    ML | 中的异常检测原理与应用

    今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到 3.集合异常:某一堆的数据集合,整体表现异常,但看单个个体又没那么异常的,比如说地方性团伙骗贷。 好了,讲完了异常点的分类,来讲一下异常检测算法的分类吧。 0301 基于统计检验与分布算法 说起异常点检测,最容易想到的就是这个正态分布图了,3倍方差之外的数据属于异常数据。 利用时间序列分解算法(STL、STAMP、X12-ARIMA)将时间序列分成3条拟合曲线:Trend(趋势)、Seasonal(周期)和Residual(残差)。

    4.1K20编辑于 2022-04-12
  • 来自专栏SAMshare

    ML | 建模老司机的几点思考与总结

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 一个机器学习模型的开发周期一般可以分为: 1、业务需求挖掘(Business insight) 2、数据搜集处理(Data Curation) 3、模型训练开发(Modeling) 4、部署及测试上线( 而在开始搜集数据前,需要了解几点内容: 1、模型应用节点 2、时效性要求 2、有没有预算,预算有多少 3、项目紧急程度 模型应用节点 模型的应用节点,决定了你有哪些变量是不可以用的,避免说出现“事后变量 具体可以参考我先前的一篇文章内容《分享8点超级有用的Python编程建议》 搞到数据后,需要做的事情大概可以分为: 1、消化所有的数据含义、逻辑; 2、对数据进行各种清洗,变成你熟悉的结构; 3、对数据进行质量控制 3、对于模型算法的选择,如果不知道选啥,可以都试试看看效果最直接。

    2K30发布于 2021-11-30
  • 来自专栏算法进阶

    3句话总结信贷的特征

    信贷是数据挖掘算法最成功的业务场景,简单来说就是判断一个人的还款能力及还款意愿,并以此为信任依据提高金融业务效率。 业界通常的做法是基于挖掘多维度的特征建立一套规则及模型,一个好的特征,对于模型和规则都是至关重要的,验证中经常可以发现,如果踢掉某类特征模型也就废了。 本文就梳理总结下信贷常用的特征,可以总结到以下3句话: 1、信贷历史类: 信贷交易次数及额度、查询征信次数、信贷历史长度、新开信贷账户数、额度使用率、逾期次数及额度、信贷产品类型、被追偿信息。 (信贷交易类的特征重要程度往往是最高的,少了这部分历史还款能力及意愿的信息,模型通常直接就废了。) 3、公共负面记录类: 如破产负债、民事判决、行政处罚、法院强制执行、涉赌涉诈黑名单等 (这类特征通常缺失度比较高,对模型贡献一般,更多的是从还款意愿、欺诈维度的考虑)

    76310编辑于 2022-06-02
  • 来自专栏SAMshare

    ML | 建模中GBDT和XGBoost怎么调优

    00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么建模场景下常用这两个明星算法? 03 什么建模场景下常用这两个明星算法? 交易反欺诈:A级出场率,主要是支付,防止客户进行薅羊毛、套现等行为。 客户流失:A级出场率。 贷后 催收告警:A级出场率。 迁徙率预测:B级出场率。 失联修复:C级出场率。 而关于模型怎么调优,我会在下一节一起讲。 模型怎么调优 关于模型的调优,先前有篇文章讲得比较细致《ML[7] | 模型调优的思路有哪些》,大家可以移步去回顾一下。

    2.5K30编辑于 2022-11-14
  • 来自专栏沃趣科技

    为本创新驱动,券商如何实现智能加速?

    合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。 而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。 非现场平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。 价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。 3 通过沃趣科技提供的专业的架构规划方案和完善的服务支撑,大大降低了数据中心的运维成本及风险,支持该券商在数据驱动和科技金融的创新上持续前行。

    1.9K10发布于 2021-10-12
  • 来自专栏AI科技时讯

    领域特征工程

    在金融行业,风险控制()是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。 在这样的背景下,领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。 在领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。 此外,良好的特征工程实践还能促进模型的解释性,为决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。 通过综合运用这些特征衍生方法,领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。

    1.9K11编辑于 2024-08-20
  • 来自专栏全栈程序员必看

    决策引擎经验

    一套完整的体系,在中,少不了决策引擎,今天就浅谈一下决策引擎。 一、优先级 决策引擎是一堆规则的集合,通过不同的分支、层层规则的递进关系进行运算。 3、消耗低性能的规则优先于高性能消耗的规则运行 举例说明:直接基于用户现有属性的数值,如当前用户的民族是否非少数民族,则可优先运行。 因为去验证用户的稳定性,是否用“6个月”,还是用“3个月”的长度更合适? 具体合理的参数是需要通过数据分析的结论进行得出,如果由于定义“6个月”长度的要求而发现其他一些手机使用时长虽然短一些,并未与用户是否逾期形成直接必然因素,那么可将该参数放松调整到“3个月”。 3、数据源内容 举例说明:某些规则是通过二次数据解析与汇总进行的,但原始数据需要进行保存,诸如手机账单的通话明细数据,此部分数据一是可作为规则使用,二是未来可用作于催收与贷后管理。

    1.8K30编辑于 2022-07-02
  • 来自专栏大数据架构师成长之路

    数据体系-简介

    早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。 结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用类数据做一个全面的梳理。 2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑 未来百行能不能有效被使用上还有待观察,但人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。 4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

    6K67发布于 2020-06-29
  • 来自专栏JAVA乐园

    实时业务系统

    账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。 什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工经验 对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则 使用redis、mongodb做计算和事件储存,历史事件支持水平扩展 原理 统计学 ; 扩展规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

    3.2K10编辑于 2022-06-30
  • 来自专栏全栈程序员必看

    模型–Odds含义

    发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/141728.html原文链接:https://javaforall.cn

    1.6K20编辑于 2022-09-01
  • 金融的力量

    随着大数据、云计算和人工智能技术的不断发展,金融成为了维护金融稳定、保护投资者利益的关键。下面我们将深入探讨金融的重要性,以及如何利用云技术提升能力。 金融的定义与重要性 定义 金融,全称为金融风险控制,是指金融机构通过一系列方法和手段,对可能出现的风险进行识别、评估、监控和控制,以减少损失、保护资产和确保业务的持续发展。 合规性:金融有助于金融机构遵守监管要求,避免因违规操作而受到处罚。 信誉维护:良好的能力可以增强客户和市场对金融机构的信任。 业务决策支持:数据可以为金融机构的业务决策提供支持,帮助制定更有效的策略。 结语 金融是金融行业的核心能力之一。随着云技术的不断进步,金融机构可以更加高效、智能地进行风险管理。鼓励金融机构拥抱云技术,提升能力,以应对日益复杂的金融环境。

    26610编辑于 2025-07-29
  • 来自专栏阿黎逸阳的代码

    建模整体流程

    确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。 确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定 ),未有上述风险的商户定义为好商户(0) 3. 特征提取 3. 特征选择(IV、GBDT、随机森林、逐步回归、相关系数等) 4. 模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。

    2.6K20发布于 2020-09-08
  • 来自专栏SAMshare

    ML | 模型报告以及上线后需要监控的内容

    一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受 以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线 02 标配的模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。 3)Lift曲线: Lift曲线,简单理解,就是对比在不使用模型的情况下,预测能力提升了多少,其计算公式如下: 0203 模型分组排序性 分组排序性在模型中的重要性不言而喻了,所以这个指标也是领导需要着重看的 一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的规则进行拦截。

    4.2K21编辑于 2022-04-12
领券