- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python小课堂
6个步骤教你金融数据挖掘预处理
数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。下面就一起看下常用六大步完成数据预处理。 train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6： 数据变换[1]是将数据集的每个元素乘以常数 ；也就是说，将每个数 变换为 ，其中 , 和 都是实数。 数据变换将可能改变数据的分布以及数据点的位置。 它还生成了一个新的特征矩阵数据，该数据是由所有次数小于或等于指定次数的特征的多项式组合组成的。
83330编辑于 2021-12-31 - 来自专栏数据STUDIO
6个步骤搞定金融数据挖掘预处理
导读： 预处理是数据挖掘过程和机器学习的重要步骤。它被用来表示 "废料进，废品出"。在机器学习和数据挖掘中，数据采集方法往往控制松散，导致值超出范围、不可能的数据组合、缺失值等问题。 数据预处理一般包括数据清洗和数据变换，数据清洗包括缺失值、异常值处理，数据变换一般包括数据归一化、标准化、特征编码等等。 数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。 下面就一起看下常用六大步完成数据预处理。其中数据获取可以参考金融数据准备。 ? train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6： 数据变换将可能改变数据的分布以及数据点的位置。
2.1K30发布于 2021-06-24 - 来自专栏数据科学与人工智能
3月6日数据动态早报 | 利用大数据防范金融风险
【雨果网】 三、互金行业数据动态 1 利用大数据防范金融风险。金融发展与现代信息技术的深度融合，运用大数据技术作为支撑，提升办案能力，是应对金融犯罪信息化、智能化新情况的必然举措。 一是要采用大数据聚合方法进行风险预警，互联网金融企业的注册信息、招聘信息、网站访问量、营销广告等特征数据经大数据平台聚合，形成对企业的“数据画像”。 同时，应加快培养专门的法律大数据分析人才，提升风险防范和信息化队伍的专业素质。【经济日报】 2 互联网金融再入“两会”视野 风险防范被重点提及。 李克强总理所做的政府工作报告中，互联网金融再度被提及，并特别强调了互联网金融在内的金融风险防范。 【金融界】 四、医疗建康数据动态 1 在《“洞见·2017”新兴产业投资机会》白皮书中，将人工智能（AI）、虚拟现实（VR）、大数据、云计算、信息安全、工业软件、泛娱乐、社交网络、互联网医疗、互联网金融
1.1K70发布于 2018-02-28 - 来自专栏数据科学与人工智能
【金融数据】消费金融：大数据风控那点事？
相对于传统金融来讲，互联金融面对的客户风险较高，其风控面临的挑战更大，对数据风控对要求就会更高。 三、互联网金融行业的风控挑战 中国的互联网金融企业愿意从美国挖一些风控人才来提高自身风控水平。 互联网金融公司只能依靠自己的业务不断积累，利用自己平台积累的数据和种子来解决这个问题，一旦管理不好，会对新兴的互联网金融公司造成较大影响。 大数据风控的一个最大的优势就是丰富了信用风险评估的数据纬度，这些用户行为信息，很大程度是大数据采集和分析的结果，用户一般是不会提供给金融行业的。 大数据风控的劣势： 还是要强调一下，信用风险评估最好的数据还是金融数据，就是人行征信系统里的数据，大数据风控只是一个补充，不能够完全替代传统的信贷风险管理。 借助于移动大数据和用户行为信息，金融企业可以识别恶意欺诈用户。
5.6K51发布于 2018-02-28 - 来自专栏数据科学与人工智能
金融科技：金融科技与数据科学概述
我以一个金融科技数据科学工作者的角度观看，是指利用各种科技服务金融业务和数据以创造商业价值的系统化过程。 2 金融业务，我了解到信贷业务、理财业务、保险业务、支付业务等。 3 金融数据，我接触到征信数据、客户基本信息数据、客户设备数据、客户消费数据、客户行为数据、客户信贷流转数据等。 03 金融科技的数据科学工作介绍 我是在金融科技从事数据科学工作，主要内容包括： 1 业务和数据的理解 2 数据清洗和准备工作 3 数据的探索性分析和报告 4 风控模型设计和应用 5 营销模型设计和应用 6 模型的部署、管理、优化和迭代 7 高效建模环境的搭建和维护 8 全流程数据科学工作的模块化编程 9 数据、规则、模型、策略设计、分析和调优 等等 04 金融科技数据科学人才的三点思考 如何成为一名金融科技数据科学人才 首先，金融科技数据科学人才属于一种复合型人才。这样的人才既需要熟悉金融业务问题，又需要掌握数据科学的知识和技能。 其次，优秀的沟通和表达能力、团队协作能力、项目管理能力，这些软实力，也非常重要。
2.7K10编辑于 2022-01-20 - 来自专栏数据科学与人工智能
金融科技：数据篇
金融科技领域的数据，从数据结构角度观察，分为结构化数据、半结构化数据和非结构化数据；从数据所有权角度观察，分为自有数据和第三方数据；从数据作用角度观察，分为营销类数据、风控类数据、财务类数据等。 不同角度观察，可以梳理不同数据划分类型。 我结合自己的项目经验，从风控类和营销类两个方面来介绍所用到的数据集。 01风控类数据 凡是对于风控有作用的数据，都可以纳入风控类数据。 3）用户的终端数据 终端是入口，通过授权获取相关信息，比方说APP列表信息、短信信息、通讯录信息、设备信息、GPS信息等 4）用户授权运营商数据 运营商数据包括用户信息数据、通话数据、短信数据、流量数据 5）用户授权社保数据 用户社保数据包括用户信息数据、用户缴纳社保明细数据等。 6）用户授权电商数据 用户电商数据包括用户信息数据、用户地址数据、用户电商消费详单数据等。 8）贷中贷款和还款数据 用户贷款信息，用户额度数据，用户还款计划表，用户还款明细等。 9）贷后的催收数据 用户逾期数据，用户催收策略数据，用户失联数据等。
1.3K20编辑于 2022-03-29 - 来自专栏华章科技
6种可用于互联网金融风险控制的大数据来源
我国互联网安全问题突出，网络金融犯罪问题不容忽视。一旦遭遇黑客攻击，互联网金融的正常运作会受到影响。 互联网金融企业通过获得多渠道的大数据原料，利用数学运算和统计学的模型进行分析，从而评估出借款者的信用风险，典型的企业是美国的ZestFinance。 目前，可被用于助力互联网金融风险控制的数据存在多个来源。 1. 国内典型企业是成立于2005年的“我爱卡”，它利用自身积累的数据和流量优势，结合国外引入的FICO(费埃哲)风控模型，从事互联网金融小额信贷业务。 3. 第三方支付数据 支付是互联网金融行业的资金入口和结算通道，此类平台可基于用户消费数据做信用分析，支付方向、月支付额度、消费品牌都可以作为信用评级数据。 6.
1.4K20发布于 2018-08-13 - 来自专栏腾讯大讲堂的专栏
金融风控数据管理——海量金融数据离线监控方法
作者：housecheng 腾讯WXG工程师 |导语 解决金融风控数据监控“开发门槛高”“重复工作多”的痛点，实现PSI计算性能十倍速提升。 背景 在金融业务上，质量和稳定是生命线，我们需要对所有已经上线的风控要素，如策略、模型、标签、特征等构建监控。 监控计算优化实例 - PSI计算从20h到2h 在我们的实践中，发现对6w个数据列的psi等4个监控指标的计算，仅日表监控计算耗时长达20h+ ，计算耗时过大，长时间占用集群资源也会导致线上任务延迟。 ； 根据分段segs遍历-1周期获取分段计数，计算psi@-1； 根据分段segs遍历-6周期获取分段计数，计算psi@-6。 小结 针对金融风控要素监控的“开发门槛高”“重复工作多”等问题，本文提出了“统一监控计算与检查工具”这一解决方案，本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现
4K10发布于 2021-04-12 - 来自专栏数据猿
金融科技&大数据产品推荐：金融魔方 ---专业的金融SaaS服务平台
微信公众号ID | datayuancn 本产品为数据猿推出的“金融科技价值—数据驱动金融商业裂变”大型主题策划活动第一部分的文章/案例/产品征集部分；感谢 金融魔方 的产品投递 1、产品名称 金融魔方 对所有敏感数据进行数据加密或摘要处理，符合中国人民银行标准合规的金融行业定制加密要求。 6、产品优势 第一，有合规的资金存管服务，通过链接银行服务解决信息流到资金流的管理效率瓶颈，为企业提供安全的资金存管。 第二，人性化的服务设计，账户完全线上化操作，多层敏感数据传输全程SSL加密，数据签名机制，保证数据请求的合法有效，提供完整的技术解决方案和快速的模块化对接。 在企业金融变现所需金融产品选型、融资贷款需求等方面，构建以企业经营数据为基础的风控模型和数据模型，一方面提升理财、保险的场景定制化能力，另一方面降低自身融资服务的门槛，让金融服务的门槛更低，更贴近企业经营实质
7.7K60发布于 2018-04-24 - 来自专栏机器之心
专访 | 文因互联：从「金融数据」到「金融知识」
只要它把数据按照一定规则、以一种人类能理解的方式进行组织，我们是否也可以从三万份「数据」里获得等量的「信息」与「知识」? 这就是文因互联希望完成的工作：对纷繁复杂的数据进行处理，归纳总结出金融知识和逻辑，辅助解决各种金融场景下的问题。 ? 承担这样的转换工作的，是文因研发数百个能力模块。 郑锦光表示，「有的方法可能适用于通用数据集，而另外一些方法可能更贴合领域专业数据集。 在金融问答场景下，除了事实类问题（比如某公司股价/资本积累率/实际控制人）之外，最常见的还有三类问题：第一类是关于行业里有哪些公司（某公司的相似企业有哪些），第二类是行业规模，第三类是行业的产业上下游。 ，这相当于将分析师的工作前置，融入搜索之中；有大量公告发布需求的金融业核心机构，使用「公告摘要」功能，能够快速地得到一份由机器提取关键信息点并按照规定制式组织语言而成的摘要，这是帮助机构员工节省时间与迅速提高效率的手段
94450发布于 2018-06-08 - 来自专栏韩锋频道
解读:“金融数据治理指引”
2018年3月16日，银保监会发布了《银行业金融机构数据治理指引（征求意见稿）》。 本次指引旨在指导银行业金融机构加强数据治理，提高数据质量，发挥数据价值，提升经营管理水平。将数据治理纳入公司治理范畴，将数据治理情况与公司治理评价和监管评级挂钩。 指引中第五十三条还特别指出，“外国银行分行以及银行业监督管理机构负责监管的其他金融机构参照执行本指引”。参考下现有银行金融机构。 ? 解读2 将数据治理纳入公司治理范畴 指引第四条，“银行业金融机构应当将数据治理纳入公司治理范畴，建立自上而下、协调一致的数据治理体系。” 解读6 明确部门、职责、岗位、问责 指引第十二至十四条，指出需设置管理部门并授权来负责数据治理体系建设，同时设置专职岗位落实工作。
3.7K10发布于 2019-06-06 - 来自专栏数据科学与人工智能
金融科技：数据导入技术
金融科技行业，我接触的主要数据格式： 1 csv格式或者xlsx格式，轻量级的数据格式 2 SAS软件数据格式，通过SAS软件处理和保存的数据 3 数据库表格数据，关系数据库或者数据平台的数据表 4 第三方数据 API调用传送数据json格式 金融科技行业的数据科学工作，不管是探索，还是分析，还是建模，我们要先导入数据。 我的经验分享如下： 1 首先，清楚数据的格式 2 其次，选择合适的技术栈 3 第三，编写代码导入数据 4 最后，数据检视 01 导入csv格式或者xlxs格式数据 1.1 Python语言 使用pandas 2 使用pyhive库访问和获取大数据平台Hive数仓的数据表 3.2 R语言 使用RODBC包从数据导入数据表，需要在Win系统或者Linux先配置好ODBC。 例如： 1 使用RPostgreSQL包访问和获取PostgreSQL数据库的数据表 2 使用RMySQL包访问和获取MYSQL数据库的数据表 04 第三方数据返回的json格式 4.1 Python语言
1.4K20编辑于 2022-03-29 - 来自专栏FreeBuf
浅析金融大数据安全
传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。 金融大数据的安全有三个很重要的工作内容，分别是安全管理及监管合规、数据安全、业务安全。具体到实际的安全映射上，分为以下四类。 ? 2、大数据平台安全 2.1基础设施安全 大数据平台首先要考虑自身基础设施安全。由于金融属性，大数据平台不太会考虑使用云的形式。 但最核心的内容，是做好安全域管理，做好边界防控，把大数据平台在内部盒子里运转。 2.2敏感数据保护 大型金融集团里，大数据会包括来自各种内外部机构的数据。
1.7K60发布于 2018-02-08 - 来自专栏数据科学与人工智能
金融科技：数据建模框架
金融科技行业如何开展数据建模工作呢？ 我给大家介绍三种数据建模框架，分别是IBM公司的CRISP-DM，SAS公司的SEMMA和我总结的PDFMV。 2 数据理解：梳理需要哪些数据，如何收集，数据探索性分析，数据质量报告。 3 数据准备：数据整理、数据清洗，数据集成，数据再格式化。 4 建模：数据划分，模型选择和构建。 6 部署：最终模型上线、部署、监控。 这个流程是一个闭环系统，给我们建模的启示。 1 正确定义好业务问题。 2 垃圾进、垃圾出，需要重视数据的质量。 在做数据建模的时候，需要妥善地处理一些与模型相关的关键问题，罗列如下：1）数据集如何划分；2）模型如何选择；3）超参数如何调整；4）模型如何集成和融合；5）模型的解释性和准确性如何平衡；6）模型的稳健性和鲁棒性如何衡量等 我是陆勤，在金融科技行业从事数据科学工作，也是一名终身学习者。我工作过的内容主要包括数据清洗和准备、风控评分模型、数字营销模型、风控策略分析、数据建模环境构建和维护等。
1.5K10编辑于 2022-01-20 - 来自专栏pandas
Pandas数据应用：金融数据分析
引言金融数据分析是现代金融行业不可或缺的一部分。通过分析历史数据，金融机构可以做出更明智的投资决策、风险评估和市场预测。 Pandas作为Python中强大的数据分析库，因其易用性和灵活性而广泛应用于金融领域。本文将由浅入深地介绍如何使用Pandas进行金融数据分析，并探讨常见的问题及解决方案。 导入数据在金融数据分析中，我们通常需要从CSV文件、Excel表格或数据库中导入数据。Pandas提供了多种方法来读取这些数据源。 数据清洗金融数据往往存在缺失值、重复值等问题。Pandas提供了丰富的函数来处理这些问题。 df['return'] = df['close'].pct_change()绘制收益率图表import matplotlib.pyplot as pltplt.figure(figsize=(10, 6)
2.8K10编辑于 2025-01-04 - 来自专栏数据猿
金融科技&大数据产品推荐：金鹏汽车金融大数据风控系统
官网 | www.datayuan.cn 微信公众号ID | datayuancn 本产品为数据猿推出的“金融科技价值—数据驱动金融商业裂变”大型主题策划活动第一部分的文章/案例/产品征集部分；感谢 网智天元 的产品投递 1、产品名称 金鹏汽车金融大数据风控系统 2、所属分类 消费金融 金融科技·风控、征信、反欺诈、智能定价 3、产品介绍 金鹏汽车金融大数据风控系统一站式完成车贷审批流程。 6、产品优势 金鹏汽车金融大数据风控系统风控能力行业领先。秒速审批，一站式低成本。精准风控，近100%覆盖权威有效。自动定价，自动决策引擎定价，差异化匹配资质，高体验。 集团首创集数据、内容、用户、时间、情感于一体的国内领先的五维大数据智能平台，构造了独特的金融大数据智能处理和应用平台，围绕金融数据的手机、整理、分析、管理和综合利用，为金融行业大数据应用提供完整的产品和服务方案 ，帮助客户通过大数据驱动业务运营，创造金融大数据应用价值。
2.9K70发布于 2018-04-24 - 来自专栏速入大数据
大数据与金融科技：革新金融行业的动力引擎
大数据与金融科技：革新金融行业的动力引擎在今天的金融行业，大数据与金融科技的结合正在以惊人的速度推动着金融服务的创新与变革。 特别是在大数据的助力下，金融科技不仅让传统的金融模式更加智能化，更让金融业务的边界变得更加广泛和灵活。那么，究竟是什么使得大数据成为金融科技的核心驱动力？我们不妨从几个具体的应用角度来探讨一下。1. 大数据在客户个性化服务中的应用金融科技的另一大亮点在于其对个性化服务的深度挖掘。以消费者金融为例，金融机构不再依赖于单一的传统产品，而是根据客户的需求、行为、习惯等数据进行量身定制。 大数据推动金融创新与开放银行近年来，开放银行的概念愈发流行，银行和金融机构通过开放API接口，让第三方公司可以访问金融数据并提供创新的金融服务。在这个过程中，大数据扮演了至关重要的角色。 这种创新模式让金融服务变得更加便捷、透明和个性化。总结大数据正在引领金融科技的发展，助力金融行业实现数字化、智能化转型。从金融风险管理到客户个性化服务，再到投资决策和金融创新，大数据的应用已无处不在。
85300编辑于 2025-03-01 - 来自专栏腾讯研究院的专栏
殷剑锋：互联网金融是互联网金融还是大数据金融
第一种模式，基于电子支付的，从电子商务进入金融行业，以阿里为典型，阿里能够做金融，其中很重要的原因淘宝网、天猫、支付宝、阿里云等等所提供的数据，数据是阿里金融的基础，从阿里金融的运营状况可以看到。 金融行业用的这些数据从哪儿来呢？金融行业掌握的数据资产是最多的，主要来自于内部数据，排第一位的是交易数据；第二位是数据记录等等，涉及到媒体、传感器、音频、视频等等不是金融行业应用数据的主要方面。 没有得到很好应用的佐证，我们统计了2007年到今年6月份以来中国网上购物和网上支付的网民数量，网上购物和网上支付的网民数量超过了用网银的人数，远远超过了网上炒股的人数，从这点来看，中国传统的金融行业没有把握住实体经济网络化的趋势迅速推动金融服务的网络化 很多人说中国互联网金融会发展很快，其中一个理由是因为中国拥有世界上最大的互联网用户群，截止到2013年，城市网民将近4.5亿，农村网民将近1.5亿，合起来6亿人口，很多人说这是中国所谓互联网金融能够得到迅速发展的基础 ，所以，中国没办法进入工业革命时代，不擅于数字的原因首先在于没有数字意识，其次是数据存储能力，抑制总体的数据规模；其三，数据深化能力，我们有6亿网民，每个网民产生的用于存储和分析的数据有多少呢？
8.4K91发布于 2018-01-31 - 来自专栏数据科学与人工智能
3月26日数据动态早报 | 大数据应用、智能金融、超级电商金融以及区块链金融
数据动态早报，让您了解数据新变化、新创造和新价值。 一、通信行业数据动态 1 中国移动公布了截止2016年12月31日年度业绩报告，董事长尚冰在《董事长报告书》（以下简称“报告书”）中更是重提5G研发和物联网重点业务发展。 【搜狐网】 二、电子商务数据动态 1 江苏常熟京云数据科技有限公司和京东云签订合作协议，双方将在“大数据+服装产业”领域建立长期、全面的合作关系。 【DoNews网】 三、互金行业数据动态 1 “科技与金融结合的创新，在很大程度上决定金融业的核心竞争力。目前有四个领域受到高度关注。” 李礼辉指出的四个领域包括大数据应用、智能金融、超级电商金融以及区块链金融。【新浪网】 四、医疗健康数据动态 1 浙江大学成立睿医人工智能研究中心，构建全国首个开放式医学人工智能平台。
1.1K80发布于 2018-02-28 - 来自专栏数据猿
91金融成立6周年之我见，互联网金融市场从增量走向存量
2.中国已进入移动互联网时代，新的时代环境意味着新的规则：人们消费习惯的改变让移动端交互方式改变颠覆了传统商业模式，推动了新的经济增长； 3.数据成为挖掘用户需求的核心，数据将成为最有价值的资产； 4. 许泽玮表示，91金融泛金融共享生态系统指的是，通过91众创空间等入口，打开以往的闭环模式，使得各入驻企业能够实现金融数据共享、资源共享、物理空间共享、经验共享、智力共享等。 、入侵检测、数据加密以及灾难恢复等网络安全设施和管理制度，保障信息系统安全稳健运行。 空间、数据、资源全面共享，助力创业创新快速发展 近两年，共享经济在国内迅速蔓延，渗透到众多行业和细分市场。 同时，91众创空间依托91金融多年来所积累的资源优势，还实现了数据、资源、智力等方面的共享。
94260发布于 2018-04-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号