可见,数字内容风控依然任重道远。而随着内容平台对数字内容风控逐渐重视,相关需求正在不断上升。数字内容平台发展,如何做到内容「不失控」,已事关企业生死存亡。 另一方面,对各大行业来说,随着数字化转型深化,数字经济如火如荼,数字内容和数字内容风控未来将成为企业标配——数字内容如潮,一波接一波,但不管后续形式、平台如何发展与进化,内容风控将是企业远航的「压舱石」 ,来自网络各个角度对应用的攻击等,这从第三方安全风控公司网易易盾提供的数字内容安全解决方案中,也能感受到数字内容风控需要「面面俱到」。 03 内容平台如何「风控」免「封控」? 显而易见,互联网内容平台正在进入「少犯错即成功」的时代,内容平台如何风控避免封控,需要认识到数字内容风控的几大特点。 第一,门槛看似低,其实非常高。 网易从提供博客、邮件类产品开始即重视内容风控,且其业务所涉的游戏、电商、社交、娱乐等都需要内容风控。这些内部需求和实践,让网易拥有20多年数据积累,也让网易易盾在内容风控上「见多识广」。
一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常风控建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受 以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。 0202 KS值与各种曲线 我们需要描述模型的效果,在风控领域最直接的指标就是KS值,我们一般会认为KS>0.3才具备最基本的上线要求,而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦! 一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的风控规则进行拦截。
我们这做风控模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在风控中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在风控主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的风控策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在风控领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在风控领域并不是越大越好,到底KS值与风控模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行
风控定义 风控是风险控制的简称,在百度百科中是这么定义风险控制的。 风控在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种风控的手段。 这里我们着重了解下信贷下的风控,结合了场景的风控,则赋予了更多的意义。 信贷风控的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷风控的核心。 ,以及在信贷场景下的风控如何实现,风控的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。 文章例子参考《智能风控平台:架构、设计与实现》
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做风控模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是
E.应用场景 风控模型的应用场景非常广泛,只要牵扯互联网金融的行业就缺少不了风控模型的存在,从借贷的角度来看,平台要评估借贷者的个人征信和还款能力从而保证投资者的收益;从投资者的角度,要保证平台的资金安全 另外,风控模型在不同的阶段体现的方式和功能也不一样。 从资金的角度来看,风控模型是为了评估用户还款能力和还款意愿,反欺诈反作弊,防止用户薅羊毛和保证平台安全等功能;从行业的角度,互联网风控模型体现在消费金融/供应链金融/信用借贷/P2P/大数据征信等方面。 所以说,风控模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道风控规则的。 四、风控的核心 如果说金融产品的核心是风控,那么风控的核心是什么? 五、风控模型的设计步骤 总体来说风控模型的设计主要可以分为以下的几个步骤: 1.获取数据 信用评估来自于用户数据,模型规则其实就是用户数据规则,信息的纬度也比较广泛,大致可以分为基本信息/行为信息
支付风控涉及到多方面的内容,包括反洗钱、反欺诈、客户风险等级分类管理等。 其中最核心的功能在于对实时交易进行风险评估,或者说是欺诈检测。如果这个交易的风险太高,则会执行拦截。 二、基于规则的风控 规则是最常用的,也是相对来说比较容易上手的风控模型。从现实情况中总结出一些经验,结合名单数据,制定风控规则,简单,有效。 常见的规则有: 1. 互联网金融风控离不开机器学习,特别是支付风控。 在各种支付风控模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。 这个过程,将在下一篇的风控架构中介绍。 五、模型评估 风控本质上是对交易记录的一个分类,所以对风控模型的评估,除了性能外,还需要评估“查全率”和“查准率”。 支付风控场景分析 ; 支付风控数据仓库建设 ; 支付风控模型和流程分析(本文); 支付风控系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn
风险管理的目标是减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步是监控,C错 风险是不确定性,不确定性是不会消失的,采用风险转移只是把风险转给了别的公司,D错
近期,针对文娱内容行业的政策出台,在此前清朗行动的基础上,相关部门对泛娱乐内容产品和平台提出了明确的要求和配套措施。 各平台除了仔细盘点自家风险,做好开放社区的内容风控和违规内容清洗外,还需搭建起专业、精准、高效的内容安全防护系统,全流程把控内容风险,及时应对“灰犀牛”和“房间里的大象”。 由于各个开放内容平台的业务场景不同,平台的抗风险能力高低不齐,行业内风控标准又未形成统一,对于平台方和运营者来说,灵活度高、具有针对性的内容风控解决方案将有助于减轻平台内容合规的压力。 一图了解内容风控防护方案 WechatIMG6721-2_01.jpg WechatIMG6721-2_02.jpg WechatIMG6721-2_03.jpg WechatIMG6721-2_04
今天来介绍一下风控中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们风控领域很多地方都会用到
《风控建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。 06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉风控模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适 Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 风控建模中的样本偏差与拒绝推断
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 而在开始搜集数据前,需要了解几点内容: 1、模型应用节点 2、时效性要求 2、有没有预算,预算有多少 3、项目紧急程度 模型应用节点 模型的应用节点,决定了你有哪些变量是不可以用的,避免说出现“事后变量 在了解了以上的内容后,你就可以开始搜集所有相关的数据了,因为你的数据源会非常多,所以这里你必须做好数据的归档,不然后期会很乱,而且原始数据需要备份一份不要动,方便后续复盘使用。 具体可以参考我先前的一篇文章内容《分享8点超级有用的Python编程建议》 搞到数据后,需要做的事情大概可以分为: 1、消化所有的数据含义、逻辑; 2、对数据进行各种清洗,变成你熟悉的结构; 3、对数据进行质量控制
为了解决数据内容安全问题,腾讯云对象存储COS推出了一站式内容审核,提供了包含图片、视频、语音、文字等全品类数据的内容安全智能审核服务,帮助用户有效识别色情低俗、违法违规、恶心反感等违禁内容,协助用户建设绿色健康的平台环境 与企业自己建设管理能力相比,腾讯云的解决方案显著地提升了企业在内容风控方面的效率和质量。 看下图更直观地对比 1.png 快速高效,覆盖多种媒体数据类型 COS内容审核依托腾讯安全20年数字内容安全运营经验,可以快速高效地完成对图片、音频、语音、文本等多种媒体数据的审核,为企业提供成熟的云上内容审核解决方案 多种使用形式,确保审核准确率 COS内容审核功能丰富,使用形式多样,通过控制台配置可以实时完成对存量和新增内容的自动检测,且支持快速动态扩容,调用内容审核的API接口实现对存储桶内指定的文件审核。 而COS内容审核的多违规类型覆盖、增量数据自动触发审核、审核秒级响应、场景化定制,可以满足所有审核场景。 为了让用户更好体验内容审核功能,COS推出内容审核专题活动,资源包低至1元起。
为了解决数据内容安全问题,腾讯云对象存储COS推出了一站式内容审核,提供了包含图片、视频、语音、文字等全品类数据的内容安全智能审核服务,帮助用户有效识别色情低俗、违法违规、恶心反感等违禁内容,协助用户建设绿色健康的平台环境 与企业自己建设管理能力相比,腾讯云的解决方案显著地提升了企业在内容风控方面的效率和质量。 看下图更直观地对比 01 快速高效,覆盖多种媒体数据类型 COS内容审核依托腾讯安全20年数字内容安全运营经验,可以快速高效地完成对图片、音频、语音、文本等多种媒体数据的审核,为企业提供成熟的云上内容审核解决方案 02 多种使用形式,确保审核准确率 COS内容审核功能丰富,使用形式多样,通过控制台配置可以实时完成对存量和新增内容的自动检测,且支持快速动态扩容,调用内容审核的API接口实现对存储桶内指定的文件审核 而COS内容审核的多违规类型覆盖、增量数据自动触发审核、审核秒级响应、场景化定制,可以满足所有审核场景。 为了让用户更好体验内容审核功能,COS推出内容审核专题活动,资源包低至1元起。
腾讯安全高级应用研究员周维聪作客「中国信息协会网信大讲堂」,围绕AI技术在内容风控领域的落地与实践,分享不良内容的审核挑战及内容风控体系的整体构建思考。 Q1:当前在内容生产、上架的过程中,内容安全风控上存在哪些挑战?周维聪:内容安全已成为重中之重,但在实际中,内容安全风控挑战主要体现在三个方面:第一,内容安全审核标准非常多样化。 Q2:针对内容安全风控面临的挑战,目前有哪些技术可以助力企业内容风控体系的打造?周维聪:在内容风控体系中,除人审能力外,机审也是重要能力之一。 此外,对语音内容,可采用ASR将语音转换成文字,将文本发送到文本内容风控系统帮助进一步审核。文本内容风控则号称AI皇冠上的明珠,情况纷繁复杂,机器理解晦涩。 顶层方案层,涵盖未成年人保护的方案、电商内容解决方案等,从更细分的内容场景出发提供内容风控整体能力。Q5:面对当前内容安全风险,腾讯安全内容风控产品有哪些应对优势?
合规风控始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规风控管理能力,进而提升风险管理精细化、智能化水平。 而由于合规风控处于企业核心竞争力的高度,原风控数据积累10年,数据量已超30TB。 非现场风控平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规风控数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。 解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规风控核心数据库系统,助力业务处理效率大幅提升。 价值提升 1 通过QData数据库云平台大幅提升了风控系统的业务效率,风控日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。
00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么风控建模场景下常用这两个明星算法? 03 什么风控建模场景下常用这两个明星算法? 交易反欺诈:A级出场率,主要是支付风控,防止客户进行薅羊毛、套现等行为。 客户流失:A级出场率。 贷后 催收告警:A级出场率。 迁徙率预测:B级出场率。 失联修复:C级出场率。 而关于风控模型怎么调优,我会在下一节一起讲。 风控模型怎么调优 关于风控模型的调优,先前有篇文章讲得比较细致《风控ML[7] | 风控模型调优的思路有哪些》,大家可以移步去回顾一下。
一套完整的风控体系,在风控中,少不了决策引擎,今天就浅谈一下风控决策引擎。 一、优先级 风控决策引擎是一堆风控规则的集合,通过不同的分支、层层规则的递进关系进行运算。 风控系统的作用在于识别绝对风控与标识相对风险,如果是绝对风控,则整套风控的审核结果便将是“拒绝”。既然结果必然是“拒绝”,则没必要运行完所有的风控规则,而主要单条触发“拒绝”即可停止剩余规则的校验。 由于风控最终还是数据“喂出来”的结果,风控的本质就是数据,而非主观臆断的设限,故而,随着数据样本与内容的不断发展,必然将会涉及到一些动态的调整,后期可能会发现原本设定的“参数”过于严谨而导致审核通过较低 具体的记录与统计内容,主要如下: 1、触发的具体风控规则 举例说明:通过两种不同的视角进行记录,一是用户与订单层面,记录其所触发的明细规则;二是风控规则层面,记录某条风控规则具体的触发率。 3、数据源内容 举例说明:某些风控规则是通过二次数据解析与汇总进行的,但原始数据需要进行保存,诸如手机账单的通话明细数据,此部分数据一是可作为风控规则使用,二是未来可用作于催收与贷后管理。
在金融行业,风险控制(风控)是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。 在这样的背景下,风控领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。 在风控领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。 此外,良好的特征工程实践还能促进模型的解释性,为风控决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。 通过综合运用这些特征衍生方法,风控领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。
确定建模目的 在信贷领域中建立风控模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立风控模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。 确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付风控领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防控的风险决定 特征工程 在风控领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。 模型上线 在支付风控领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。 本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事风控模型的同学一点建议。 以上都是我在建模过程中的一点经验总结,有不正之处恳请指正!