首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SAMshare

    ML | 建模的KS

    我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

    6.4K31编辑于 2022-02-25
  • 来自专栏Albert陈凯

    2018-11-06 系统建设资料

    干货 | 携程在线系统架构 https://mp.weixin.qq.com/s? 8376fa6eb4017378babd51cd6f474cbd6ac5fa0ad51b18783c8ff7a75c4c2ea52c5a5723eac0&mpshare=1&scene=1&srcid=1013uCmHHCB3qu0dUbD30MWg&pass_ticket=tPRWL 干货 | 携程基于大数据分析的实时风体系 https://mp.weixin.qq.com/s/xlCO__HucTUd_gYNRTueGg 京东基于Spark的系统架构实践和技术细节 https://mp.weixin.qq.com MzU1NDA4NjU2MA==&mid=2247486513&idx=1&sn=bd6d6bbd13efc7f9612190dceaf4c180&source=41#wechat_redirect 美团点评业务系统构建经验

    1.3K20发布于 2018-12-07
  • 来自专栏LieBrother

    何为

    定义 是风险控制的简称,在百度百科中是这么定义风险控制的。 在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种的手段。 这里我们着重了解下信贷下的,结合了场景的,则赋予了更多的意义。 信贷的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷的核心。 ,以及在信贷场景下的如何实现,的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。 文章例子参考《智能平台:架构、设计与实现》

    2.9K21编辑于 2022-12-20
  • 来自专栏SAMshare

    ML | 建模的WOE与IV

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是

    4.9K20发布于 2021-11-30
  • 微信域名拦截 域名拦截类型 微信域名 域名拦截原因 微信域名申诉 微信安全域名 域名封指南

    微信作为国内主流社交平台,对域名访问有着严格的机制,微信域名拦截主要分为红色拦截、白色拦截、蓝色拦截三种类型,不同拦截类型对应不同的违规场景与逻辑。 ”封禁,属于关联范畴。 •特殊域名后缀:.top、.xyz等新型域名后缀,或境外未备案域名,微信风审核标准更严格,因无法充分核验域名主体及安全性,易触发此类拦截。 •传播异常:短时间内域名流量暴增、被批量转发,触发微信临时风排查,属于阶段性拦截,通常排查结束后,若未发现严重违规,会自动解除拦截。 更多微信安全域名的合规使用技巧、完整的域名指南及实操方案,可进在我的主页一步了解学习。

    3K00编辑于 2026-04-04
  • 来自专栏全栈程序员必看

    信贷模型搭建及核心模式分类

    E.应用场景 模型的应用场景非常广泛,只要牵扯互联网金融的行业就缺少不了模型的存在,从借贷的角度来看,平台要评估借贷者的个人征信和还款能力从而保证投资者的收益;从投资者的角度,要保证平台的资金安全 另外,模型在不同的阶段体现的方式和功能也不一样。 从资金的角度来看,模型是为了评估用户还款能力和还款意愿,反欺诈反作弊,防止用户薅羊毛和保证平台安全等功能;从行业的角度,互联网模型体现在消费金融/供应链金融/信用借贷/P2P/大数据征信等方面。 所以说,模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道规则的。 四、的核心 如果说金融产品的核心是,那么的核心是什么? 五、模型的设计步骤 总体来说模型的设计主要可以分为以下的几个步骤: 1.获取数据 信用评估来自于用户数据,模型规则其实就是用户数据规则,信息的纬度也比较广泛,大致可以分为基本信息/行为信息

    4.2K11编辑于 2022-08-14
  • 腾讯天御平台:文旅票务拦截95%以上黄牛流量

    第二章:部署天御全栈式引擎(RCE) 腾讯云 联合 腾讯智慧文旅 与 腾讯安全,通过 天御平台 提供针对性的技术解决方案,核心产品为 全栈式引擎(RCE)。 第三章:量化拦截效果与业务价值 通过部署天御体系,文旅客户在拦截率与系统稳定性上获得具体提升: 流量清洗能力: 某主题乐园:有效检测拦截 99%+ 黄牛机刷请求,订单业务分析验证几乎全部命中。 业务稳定性提升: 某国家级博物馆:拦截前库存 10-20秒 被抢空,拦截后真实游客购票售卖时长延长至 30-45分钟。 某主题乐园:结合点选验证码与引擎,构建多重防线,将正常请求占比优化至 0.19%(2023年1月数据)。 系统漏洞修复: 帮助某主题乐园开发团队发现小程序前端存在的漏洞,降低系统潜在风险。 实施: 接入天御后端服务,进行可信标识识别与设备信息校验。 结果: 拦截超过 95% 黄牛流量,有效降低 QPS(每秒查询率),99%+ 的机刷请求被拦截,远超客户预期。

    42310编辑于 2026-05-30
  • 来自专栏全栈程序员必看

    支付模型

    支付涉及到多方面的内容,包括反洗钱、反欺诈、客户风险等级分类管理等。 其中最核心的功能在于对实时交易进行风险评估,或者说是欺诈检测。如果这个交易的风险太高,则会执行拦截。 由于反欺诈检测是在交易时实时进行的,在要求不能误拦截的同时,还有用户体验上的要求,即不能占用太多时间,一般要求操作必须控制在100ms以内,对于交易量大的业务,10ms甚至更低的性能要求都是必须的。 这就需要对模型进行合理的设计。一般来说,要提升拦截效率,就需要考虑更多的维度,但这也会带来计算性能的下降。在效率和性能之间需要进行平衡。 一、风险等级 做拦截,首先要回答的问题是风险等级怎么划分? 目前主流的风险等级划分有三种方式, 三等级、四等级、五等级。 三等级的风险分为 低风险、中风险和高风险。 拦截历史规则 用户在某个业务上的消费行为被网关多次拦截。 规则引擎优点: 性能高: 对订单按照规则进行匹配,输出结果。一般不会涉及到复杂的计算。

    4.5K22编辑于 2022-08-11
  • 来自专栏用户3246163的专栏

    1.1 原则

    风险管理的目标是减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步是监控,C错 风险是不确定性,不确定性是不会消失的,采用风险转移只是把风险转给了别的公司,D错

    3.4K60发布于 2018-09-14
  • 来自专栏SAMshare

    ML | 建模中怎么做拒绝推断

    建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。 06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适 Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

    3.2K30编辑于 2022-11-14
  • 来自专栏SAMshare

    ML | 中的异常检测原理与应用

    今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到

    4.7K20编辑于 2022-04-12
  • 银行用户异地登录总被拦截?IP 查询工具精准优化判定

    合规用户误拦严重:跨区域的正常用户,极易被判定为风险账号拦截,直接引发用户投诉。异常访问管薄弱:机房专线、非家用网络IP易规避基础检测,传统规则难以有效拦截恶意登录行为。 1.2实际业务影响某城商行传统模式下,异地登录误拦率超32%,月均用户投诉超百条,既损耗用户信任,又额外增加客服与人力成本。 二、IP查询优化核心逻辑2.1核心优化思路摒弃单一地域拦截模式,依托IP查询获取IP地域、网络类型、基础风险特征三类核心数据,结合用户历史登录行为基线,做分级风险处置,不搞一刀切拦截。 三、两类方案效果数据对比通过线上实际落地测试,传统单一地域与IP查询动态的核心指标差异明显,具体数据如下:方案异地登录误拦率单请求响应耗时用户月均投诉量金融合规性单一地域32%+200ms 银行异地登录误拦问题,可通过动态分级解决,适配金融合规与性能需求,兼顾低误拦率与账号安全,可高效优化银行登录体系。

    42510编辑于 2026-03-24
  • 来自专栏SAMshare

    ML | 建模中GBDT和XGBoost怎么调优

    00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么建模场景下常用这两个明星算法? 03 什么建模场景下常用这两个明星算法? 交易反欺诈:A级出场率,主要是支付,防止客户进行薅羊毛、套现等行为。 客户流失:A级出场率。 贷后 催收告警:A级出场率。 迁徙率预测:B级出场率。 失联修复:C级出场率。 而关于模型怎么调优,我会在下一节一起讲。 模型怎么调优 关于模型的调优,先前有篇文章讲得比较细致《ML[7] | 模型调优的思路有哪些》,大家可以移步去回顾一下。

    2.8K30编辑于 2022-11-14
  • 来自专栏SAMshare

    ML | 建模老司机的几点思考与总结

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!

    2.3K30发布于 2021-11-30
  • 来自专栏沃趣科技

    为本创新驱动,券商如何实现智能加速?

    合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。 而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。 非现场平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。 解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规核心数据库系统,助力业务处理效率大幅提升。 价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

    2.3K10发布于 2021-10-12
  • 来自专栏JAVA乐园

    实时业务系统

    账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。 ,能够给用户止损挽回损失 低误报,这需要人工经验,对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则 使用redis、mongodb 做计算和事件储存,历史事件支持水平扩展 原理 统计学 次数统计,比如1分钟内某账号的登录次数,可以用来分析盗号等 频数统计,比如1小时内某ip上出现的账号,可以用来分析黄牛党等 最大统计,比如用户交易金额比历史交易都大 ; 扩展规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

    3.6K10编辑于 2022-06-30
  • 来自专栏大数据架构师成长之路

    数据体系-简介

    早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。 结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用类数据做一个全面的梳理。 2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑 未来百行能不能有效被使用上还有待观察,但人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。 4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

    6.9K67发布于 2020-06-29
  • 来自专栏AI科技时讯

    领域特征工程

    在金融行业,风险控制()是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。 在这样的背景下,领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。 在领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。 此外,良好的特征工程实践还能促进模型的解释性,为决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。 通过综合运用这些特征衍生方法,领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。

    2.6K11编辑于 2024-08-20
  • 来自专栏阿黎逸阳的代码

    建模整体流程

    确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。 确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定 特征工程 在领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。 模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。 本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事模型的同学一点建议。 以上都是我在建模过程中的一点经验总结,有不正之处恳请指正!

    2.9K20发布于 2020-09-08
  • 金融的力量

    随着大数据、云计算和人工智能技术的不断发展,金融成为了维护金融稳定、保护投资者利益的关键。下面我们将深入探讨金融的重要性,以及如何利用云技术提升能力。 金融的定义与重要性 定义 金融,全称为金融风险控制,是指金融机构通过一系列方法和手段,对可能出现的风险进行识别、评估、监控和控制,以减少损失、保护资产和确保业务的持续发展。 合规性:金融有助于金融机构遵守监管要求,避免因违规操作而受到处罚。 信誉维护:良好的能力可以增强客户和市场对金融机构的信任。 业务决策支持:数据可以为金融机构的业务决策提供支持,帮助制定更有效的策略。 结语 金融是金融行业的核心能力之一。随着云技术的不断进步,金融机构可以更加高效、智能地进行风险管理。鼓励金融机构拥抱云技术,提升能力,以应对日益复杂的金融环境。

    35710编辑于 2025-07-29
领券