我们这做风控模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在风控中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在风控主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的风控策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在风控领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在风控领域并不是越大越好,到底KS值与风控模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行
风控定义 风控是风险控制的简称,在百度百科中是这么定义风险控制的。 风控在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种风控的手段。 这里我们着重了解下信贷下的风控,结合了场景的风控,则赋予了更多的意义。 信贷风控的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷风控的核心。 ,以及在信贷场景下的风控如何实现,风控的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。 文章例子参考《智能风控平台:架构、设计与实现》
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做风控模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是
从设备管理到业务风控:MDM如何成为金融租赁企业智能风控的一环在金融租赁、消费金融、设备租赁等业务场景中,移动设备已经不再只是员工的生产工具,而逐渐成为业务资产、客户触达渠道以及风险数据采集入口。 、风控引擎与设备控制之间的闭环。 二、MDM为风控提供新的设备风险维度MDM系统能够持续采集设备状态,并将设备数据同步给风控系统,使风控从“用户风险判断”扩展到“用户 + 设备 + 环境”的综合判断。1. 七、连接设备管理与业务风控RayTech EMM通过设备管理能力与企业业务流程结合,帮助企业实现:企业设备统一管理;风险设备识别;自动化策略执行;企业应用控制;设备状态持续感知;与业务系统、风控平台联动 未来企业风险管理将从:“发现风险后人工处理”逐步演进为:“设备感知风险 → 风控智能决策 → MDM自动执行 → 数据持续反馈”通过移动设备管理与业务风控体系的深度融合,企业可以实现更加实时、精准、自动化的风险控制能力
所以,如果只是使用系统自带的设备ID,黑产完全可以通过不断恢复出厂设置模拟大量的设备,来绕过风控系统的检测。 因此,如何在一定程度上兼容设备的变动和更新,也是设备指纹需要考虑的问题之一。 总之,黑产总是会尝试去修改虚拟设备的各类配置,将其伪造成新的设备,从而绕过风控系统的检测。 因此,一个稳定的设备指纹可以帮助风控系统对抗黑产的虚拟设备。 上面说的这两个挑战都属于设备指纹对稳定性的要求。 这样一来,APP 厂商的风控系统就没有办法通过设备维度关联黑产行为了,也就无法识别单一设备批量操作的攻击行为。 设备指纹是风控系统中对设备实现长期追踪和异常识别的一种关键技术。
目录: 一、线上买菜场景简述 二、风控在业务中的应用 三、产品整体框架 四、初始化分析 五、反爬签名流程 六、设备指纹分析 七、算法还原 八、总结 一、线上买菜场景简述 1、分析说明 1. 二、反作弊风控在业务中的应用 1、APP推广拉新 还记得在2020年的下半年时候,当时生鲜电商的社区团购大战非常火爆,各种买菜APP蜂拥而入,砸钱、抢流量,你争我抢玩得不亦乐乎。 怎么识别出有效的流量与虚假流量,需要一个完善的风控体系与制定有效的策略找出高质量流量,然后把这些流量留下来。 这个环节中就会有各种薅羊毛的人群出现,同样需要完善的风控体系与制定有效的策略来最大程度地甄别风险。 获取设备信息过于频繁,影响性能,回到开始说的风控在业务中的作用,大部分用户使用生鲜类APP时的目的性比较强,业务在拉新促活增加用户粘性的同时高质量留存与业务安全更是重中之重,所以产品流畅的用户体验是促进高留存的重要条件之一
风险管理的目标是减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步是监控,C错 风险是不确定性,不确定性是不会消失的,采用风险转移只是把风险转给了别的公司,D错
《风控建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。 06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉风控模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适 Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 风控建模中的样本偏差与拒绝推断
今天来介绍一下风控中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们风控领域很多地方都会用到 这块比较基础的就是最大联通图的应用,通过不同顶点(比如设备ID、IP、地址、手机号等)和关系,把本不相干的信息联通起来,可以用于团伙作案的异常行为,这类的应用比较依赖业务专家经验。
传统基于手机号或设备ID的规则完全失效。痛定思痛,我意识到:要识别“人”还是“机器”,不能只看账号,而要看背后的网络身份——IP地址+设备痕迹。黑产通常用代理IP池+自动化脚本批量操作。 风险标签响应延迟离线库国内定位精度IP数据云是是<2ms是街道级IPnews是是~30ms是城市级IPinfo是是≤10ms是城市级实测中,IP数据云的表现优异,每日更新的离线库也完全符合我们的需求,非常适合我们混合部署的风控架构 检测流程:若IP被标记为“数据中心”或“代理”,且设备指纹为首次出现 → 强制滑块验证;同一IP 10分钟内触发>30次注册 → 自动加入观察名单。 IP地址不再是“辅助信息”,而是风控体系的核心信号之一。 给同行三点建议:活动上线前,务必埋点采集IP与基础设备指纹;IP数据要与行为规则联动,避免孤立判断;所有数据处理需符合《个人信息保护法》,原始设备ID和其他隐私信息应脱敏处理。
00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么风控建模场景下常用这两个明星算法? 03 什么风控建模场景下常用这两个明星算法? 交易反欺诈:A级出场率,主要是支付风控,防止客户进行薅羊毛、套现等行为。 客户流失:A级出场率。 贷后 催收告警:A级出场率。 迁徙率预测:B级出场率。 失联修复:C级出场率。 而关于风控模型怎么调优,我会在下一节一起讲。 风控模型怎么调优 关于风控模型的调优,先前有篇文章讲得比较细致《风控ML[7] | 风控模型调优的思路有哪些》,大家可以移步去回顾一下。
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!
合规风控始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规风控管理能力,进而提升风险管理精细化、智能化水平。 而由于合规风控处于企业核心竞争力的高度,原风控数据积累10年,数据量已超30TB。 非现场风控平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规风控数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。 解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规风控核心数据库系统,助力业务处理效率大幅提升。 价值提升 1 通过QData数据库云平台大幅提升了风控系统的业务效率,风控日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。
早期传统金融的风控主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。 结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用风控类数据做一个全面的梳理。 2.风控数据来源 2.1 数据应用逻辑 常见风控流程中,客户准入时提供的资信材料有限,业务机构风控数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把控某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风控支撑 未来百行能不能有效被使用上还有待观察,但风控人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。 4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、风控流程、风险画像等的介绍。
账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。 什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工风控经验 对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务风控系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理风控规则,原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展 原理 统计学 ,ip地域运营商,ip出口类型,设备指纹,Referer,ua,密码hash,征信等,维度越多,可以建立规则越多,风控越精准; 扩展风控规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整
在金融行业,风险控制(风控)是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。 在这样的背景下,风控领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。 在风控领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。 此外,良好的特征工程实践还能促进模型的解释性,为风控决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。 通过综合运用这些特征衍生方法,风控领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。
确定建模目的 在信贷领域中建立风控模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立风控模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。 确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付风控领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防控的风险决定 特征工程 在风控领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。 模型上线 在支付风控领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。 本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事风控模型的同学一点建议。 以上都是我在建模过程中的一点经验总结,有不正之处恳请指正!
随着大数据、云计算和人工智能技术的不断发展,金融风控成为了维护金融稳定、保护投资者利益的关键。下面我们将深入探讨金融风控的重要性,以及如何利用云技术提升风控能力。 金融风控的定义与重要性 定义 金融风控,全称为金融风险控制,是指金融机构通过一系列方法和手段,对可能出现的风险进行识别、评估、监控和控制,以减少损失、保护资产和确保业务的持续发展。 合规性:金融风控有助于金融机构遵守监管要求,避免因违规操作而受到处罚。 信誉维护:良好的风控能力可以增强客户和市场对金融机构的信任。 业务决策支持:风控数据可以为金融机构的业务决策提供支持,帮助制定更有效的策略。 结语 金融风控是金融行业的核心能力之一。随着云技术的不断进步,金融机构可以更加高效、智能地进行风险管理。鼓励金融机构拥抱云技术,提升风控能力,以应对日益复杂的金融环境。
一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常风控建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受 以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。 0202 KS值与各种曲线 我们需要描述模型的效果,在风控领域最直接的指标就是KS值,我们一般会认为KS>0.3才具备最基本的上线要求,而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦! 一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的风控规则进行拦截。
本文为数据猿现场直播“蚂蚁金服风控总监王黎强:智能风控助力新金融”的发言实录。 以下是数据猿现场直播“蚂蚁金服风控总监王黎强”的发言实录: 事实上,阿里、蚂蚁大部分技术能力是通过在业务场景里解决一个又一个的具体问题所构建起来的,我们的智能风控体系也是一样。 但是事实上这个体系还不够完善,因为风控不仅仅是一个冷冰冰的数据和机器,更多的还要看到客户体验。我们既要做到保障整个安全风控,还要兼顾到用户的体验。 第三阶段,大数据智能的风控体系,我们通过人工经验跟机器自身的学习,构建了一套智能化风控体系,这里面既做到了提前感知风险,又做到了风险自适应,而不是所有的风险防控去用人工的方式做修正,而更多的是通过机器智能的方式进行整个风控体系的自我修复 举个例子,我们整个风控体系就像人的骨骼,数据是人的血肉,AI是人的大脑,三者有机结合在一起,构成了我们整个智能风控体系的框架。然后高效实时的运作起来,是蚂蚁金服智能风控体系的第一个优势。