首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SAMshare

    ML | 建模的KS

    我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

    5.8K31编辑于 2022-02-25
  • 来自专栏Java架构

    高并发技术解密(下)

    下图是hbase的一个基准性能测试,千万不要忽略hbase哦,它既能存取海量数据,又能以极短的时间响应,实在是系统性能提升的利器。目前的系统最重要的累积数据,就是基于hbase存取的 ? 在系统里,日志是很重要的排查工具和手段。 log4j2的出现,就是为了大吞吐打印日志的,其中all async实现全异步打印,中间用到了disruptor来提速,至于disruptor为什么快,参考之前的文章高并发技术解密(上)   单机

    1.2K40发布于 2018-06-13
  • 来自专栏Java架构

    高并发技术解密(下)

    如下图,不同的存储读取时间是有很大差别的,应当利用好各种存储,尽可能的用耗时小的存储 下图是hbase的一个基准性能测试,千万不要忽略hbase哦,它既能存取海量数据,又能以极短的时间响应,实在是系统性能提升的利器 目前的系统最重要的累积数据,就是基于hbase存取的 异步化   •从系统架构层面,将可异步的代码尽量异步,但忌滥用异步   下面是一个实际的例子,在压测过程中,发现CPU的sy和wa很高,大体可以判断是线程过多 在系统里,日志是很重要的排查工具和手段。 log4j2的出现,就是为了大吞吐打印日志的,其中all async实现全异步打印,中间用到了disruptor来提速,至于disruptor为什么快,参考之前的文章高并发技术解密(上)   单机TPS

    84250发布于 2018-05-25
  • 来自专栏数据科学与人工智能

    金融科技|建模技术方案

    建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。 4 深度学习模型 基于深度学习的技术路线会面临两个挑战。一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而领域要获取大规模的样本数据的成本极高。 另一方面,如前所述特征数据的维度间是平行的,不存在邻近关系,较难利用CNN和RNN这样具有较好物理含义的深度学习模型,而简单的堆砌若干个全连接层在高维特征数据上是很难得到一个稳定的模型。 总之,金融模型是一个既传统又新鲜的技术问题。银行的模型已经随着银行业的发展应用了数十年。 而互联网金融面临的如何组合大量的弱特征数据对于用户的逾期行为给一个准确的预测,是一个新出现的技术课题,技术方案也在快速的迭代演进中。

    2.5K30发布于 2021-07-15
  • 来自专栏Java架构

    高并发技术解密(上)

    在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的建设谈谈技术。 (本文来源于本人内部分享PPT,仅从技术角度探讨体系建设,不涉及公司内部机密,限于篇幅,一些细节没能交待完整) 架构演进   经过1年多风系统的建设,已经将公司内部系统从业务代码为主的架构改造为了平台化为主的 技术架构 首先来看目前技术架构,从业务及架构层面将划分为五大体系:分别是存储体系,识别体系,支撑体系,运营体系,数据计算体系。   另外,由于积累数据及服务已经较多,许多外部系统都想共享的数据和服务,将的部分业务作为开放平台提供服务也是深化改造的重要步骤。 ? TimeWheel算法   对于这种时效要求较高的应用,需要在请求时控制超时。

    1.1K30发布于 2018-06-14
  • 来自专栏Java架构

    高并发技术解密(上)

    在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的建设谈谈技术。 (本文来源于本人内部分享PPT,仅从技术角度探讨体系建设,不涉及公司内部机密,限于篇幅,一些细节没能交待完整) 架构演进   经过1年多风系统的建设,已经将公司内部系统从业务代码为主的架构改造为了平台化为主的 技术架构   首先来看目前技术架构,从业务及架构层面将划分为五大体系:分别是存储体系,识别体系,支撑体系,运营体系,数据计算体系。   另外,由于积累数据及服务已经较多,许多外部系统都想共享的数据和服务,将的部分业务作为开放平台提供服务也是深化改造的重要步骤。 TimeWheel算法   对于这种时效要求较高的应用,需要在请求时控制超时。

    1.5K60发布于 2018-05-24
  • 腾讯云全栈式引擎(RCE)技术指南:业务产品推荐

    摘要 本文旨在为需要业务解决方案的企业提供一个技术指南,特别关注安全性和实时性。 我们将解析腾讯云全栈式引擎(RCE)的技术价值,提供实施操作指南,并对比通用方案与腾讯云方案的优势,以场景化案例结束。 技术解析 核心价值与典型场景 腾讯云全栈式引擎(RCE)是基于人工智能技术,结合腾讯20年实战经验打造的服务。 成本控制:如何在确保效果的同时,控制服务成本。 操作指南 实施流程 步骤1:接入全栈式引擎 原理说明:通过API服务接口形式接入RCE,利用腾讯云的模型进行实时分析。 通过本文的技术指南,企业可以更好地理解腾讯云全栈式引擎的价值,并在业务中实现高效的控管理。

    53810编辑于 2025-07-28
  • 来自专栏LieBrother

    何为

    定义 是风险控制的简称,在百度百科中是这么定义风险控制的。 在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种的手段。 这里我们着重了解下信贷下的,结合了场景的,则赋予了更多的意义。 信贷的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷的核心。 ,以及在信贷场景下的如何实现,的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。 文章例子参考《智能平台:架构、设计与实现》

    2.6K21编辑于 2022-12-20
  • 腾讯云天御交易技术指南

    摘要 本文旨在解析腾讯云天御交易技术的核心价值、挑战及实施指南,并提供与腾讯云产品结合的最佳实践案例。 技术解析 核心价值与典型场景 腾讯云天御交易服务通过实时监控和智能分析技术,为企业提供交易安全保护。其核心价值在于识别欺诈行为、降低交易风险,并优化用户体验。 规则更新:随着欺诈手段的不断演变,规则需要频繁更新以适应新威胁。 操作指南 实施流程 配置腾讯云天御服务 原理说明:通过腾讯云控制台配置天御交易服务,集成API以接入企业系统。 设置规则 原理说明:根据业务需求和历史数据分析,设置规则以识别异常交易。 操作示例:在腾讯云天御控制台设置规则,如交易金额阈值、频率限制等。 结论 腾讯云天御交易技术以其高性能、安全性和灵活性,为企业提供了强大的交易安全保障。通过结合腾讯云产品特性,企业能够实现更高效、更安全的交易控管理。

    92910编辑于 2025-07-29
  • 来自专栏SAMshare

    ML | 建模的WOE与IV

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是

    4.5K20发布于 2021-11-30
  • 来自专栏全栈程序员必看

    信贷模型搭建及核心模式分类

    需要对客户经理进行至少2个月以上的专业技术培训,提升客户经理辨别虚假信息能力和编制财务报表的技能,从而防范信用风险。 IPC公司信贷技术的核心,是评估客户偿还贷款的能力。 3.大数据模式 大数据模式是指通过对海量的、多样化的、实时的、有价值的数据进行采集、整理、分析和挖掘,并运用大数据技术重新设计征信评价模型算法,多维度刻画信用主体的“画像”,向信息使用者呈现信用主体的违约率和信用状况 一开始我们的技术人员对这个“少量逾期”这个分类很疑惑,不能理解这个分类到底是好还是坏。直到我们和某P2P公司的经理实际交流后才明白这其中的含义。 另外,模型在不同的阶段体现的方式和功能也不一样。 所以说,模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道规则的。 四、的核心 如果说金融产品的核心是,那么的核心是什么?

    3.8K11编辑于 2022-08-14
  • 来自专栏全栈程序员必看

    支付模型

    这就需要对模型进行合理的设计。一般来说,要提升的拦截效率,就需要考虑更多的维度,但这也会带来计算性能的下降。在效率和性能之间需要进行平衡。 二、基于规则的 规则是最常用的,也是相对来说比较容易上手的模型。从现实情况中总结出一些经验,结合名单数据,制定规则,简单,有效。 常见的规则有: 1. 互联网金融离不开机器学习,特别是支付。 在各种支付模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。 这个过程,将在下一篇的架构中介绍。 五、模型评估 本质上是对交易记录的一个分类,所以对模型的评估,除了性能外,还需要评估“查全率”和“查准率”。 支付场景分析 ; 支付数据仓库建设 ; 支付模型和流程分析(本文); 支付系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

    4K22编辑于 2022-08-11
  • 来自专栏用户3246163的专栏

    1.1 原则

    理论缺点:完美资本市场理论建议不对冲风险 完美资本市场不存在,分散化需要成本 完美资本市场理论忽略了金融灾难和破产的成本 由于定价复杂和不准确,所以对冲不是零和游戏 实践缺点 不要从核心业务分心 缺少知识和技术 2.开发和实现ERM策略 工作范围: 1.设置公司全局风险偏好 2.度量和量化风险 3.设置风险限制 4.开发风险系统 关键技能: 1.领导力 2.说服力 3.有能力保护公司资产 4.理解所有风险的技术技能

    3.1K60发布于 2018-09-14
  • 来自专栏SAMshare

    ML | 建模中怎么做拒绝推断

    建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。 06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适 Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

    2.9K30编辑于 2022-11-14
  • 来自专栏SAMshare

    ML | 中的异常检测原理与应用

    今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到 details/95048991 [3] 异常检测算法演变及学习笔记 https://www.cnblogs.com/zhengzhicong/p/12922836.html [4] 异常检测简介:概念与技术

    4.2K20编辑于 2022-04-12
  • 来自专栏SAMshare

    ML | 建模老司机的几点思考与总结

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!

    2K30发布于 2021-11-30
  • 提升决策能力的腾讯云技术指南

    摘要 随着数字化转型的深入,企业对决策能力的需求日益增长。本技术指南旨在通过简练的语言解析技术的核心价值,并结合腾讯云产品,提供一套全面的操作指南和增强方案,以提升企业的决策能力。 技术解析 核心价值与典型场景 决策技术的核心价值在于通过数据驱动的分析,识别和预防潜在风险,从而保护企业资产和客户利益。典型场景包括金融欺诈检测、信用评估、市场风险管理等。 实时性要求:决策需要快速响应市场变化,对系统的性能要求极高。 模型准确性:随着数据量的增加,如何提高风模型的准确性和泛化能力是一大难题。 操作指南 步骤1:数据收集与处理 原理说明:数据是决策的基础,需要从多个来源收集数据,并进行清洗、整合。 通过本技术指南,企业可以更好地理解和应用决策技术,同时利用腾讯云产品提升决策的效率和准确性。

    41410编辑于 2025-07-29
  • 来自专栏SAMshare

    ML | 建模中GBDT和XGBoost怎么调优

    00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么建模场景下常用这两个明星算法? 03 什么建模场景下常用这两个明星算法? 交易反欺诈:A级出场率,主要是支付,防止客户进行薅羊毛、套现等行为。 客户流失:A级出场率。 贷后 催收告警:A级出场率。 迁徙率预测:B级出场率。 失联修复:C级出场率。 而关于模型怎么调优,我会在下一节一起讲。 模型怎么调优 关于模型的调优,先前有篇文章讲得比较细致《ML[7] | 模型调优的思路有哪些》,大家可以移步去回顾一下。

    2.5K30编辑于 2022-11-14
  • 业务与黑产对抗的技术利器

    业务、活动防刷、黑产对抗和设备指纹是现代企业在数字化转型中必须面对的挑战。这些技术手段旨在保护企业免受欺诈、滥用和非法活动的侵害,确保业务流程的安全性和稳定性。 腾讯图灵盾 腾讯图灵盾是一款专注于设备指纹技术产品,它能够通过设备指纹技术识别和追踪设备,从而提高风能力。 优势: 设备识别:通过设备指纹技术,提高设备识别的准确性。 劣势: 技术更新:随着技术的发展,设备指纹技术需要不断更新以适应新的风险。 天御 天御是腾讯云提供的一款综合性产品,它集成了多种技术和策略,帮助企业构建全面的体系。 优势: 综合防护:集成多种技术,提供全面的防护。 定制化服务:根据企业的具体需求提供定制化的解决方案。 劣势: 成本问题:综合性的解决方案可能会带来较高的成本。 总结 在数字化时代,业务、活动防刷、黑产对抗和设备指纹技术是企业保护自身免受欺诈和非法活动侵害的重要手段。

    57910编辑于 2025-07-28
  • 来自专栏沃趣科技

    为本创新驱动,券商如何实现智能加速?

    如何融合信息技术与证券业务,不断地通过先进的科技手段,通过数据的汇聚和分析,通过智能化的探索,为各业务板块的核心竞争力赋能,是各大券商关注的重点。 合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。 而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。 非现场平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。 价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

    1.9K10发布于 2021-10-12
领券