- 综合排序
- 最热优先
- 最新优先
- 来自专栏葡萄城控件技术团队
实战分享 | 金融数据采集报送平台实践
对企业数据系统来说，数据采集填报、报表设计、校验审核、汇总上报等功能是非常常见的需求，也是业务用户使用频率最高的功能模块。 不管身处何种行业，只要有数字化转型/数据治理的需求，都需要关注这些问题的解决方案。 而银行业作为现代金融业的主体，国民经济运转的枢纽，数字化转型相当关键。 本周我们有幸邀请到葡萄城的深度合作客户——杭州明佑电子有限公司（简称明佑电子）开发部经理 杨颖，从银行业背景和业务痛点出发，分享他们对于银行业数据采集报送领域的实践经验，分析、解决以上提到的痛点问题。 明佑电子长期致力于为金融客户提供整体解决方案和软件产品，在软件研发、数据整合、技术服务、IT外包领域有多年实践经验以及成熟的解决方案。 Excel自定义报表 https://mp.weixin.qq.com/s/IbN6ljTBHGxcg-lfjt_yxw 【客户故事】希施玛数据科技 – 金融大数据处理实验实训教学平台 https://
1.1K40编辑于 2023-02-10 - 来自专栏HONEYWELL
ABB 4943013-6 用于数据采集
ABB 4943013-6 用于数据采集图片edgeConnector Siemens模块是一个高度灵活的先进应用程序，您可以立即部署、调整、启动或停止，从而提高生产的可扩展性和灵活性。 模块支持安全套接字层(SSL)和传输层安全性(TLS)等安全标准，以及X.509证书和数据加密。
26420编辑于 2023-04-28 - 来自专栏八爪鱼大数据
超实用干货 | 金融界的“另类数据”采集技巧分享
以上案例分布在各行各业，但其实都与金融【另类数据】有关，可以很好地诠释【另类数据】的价值与场景。什么是金融另类数据？在过去，投资者更多的是依靠传统金融数据进行投资决策。 传统金融数据包括股票/债券的交易数据、上市公司的年报/财报、金融机构的研报数据、政府的统计数据、银行用户的借贷数据等。而另类数据，通常被定义为传统金融报告和宏观经济指标之外的信息。 金融机构一般通过以下3种方式获取另类数据：向另类数据供应商直接购买、自建爬虫团队获取、使用数据采集软件获取。 其中使用数据采集软件成本效益最明显，前期只需投入很少的资金与人力，即可快速开始探索另类数据。 八爪鱼是通用的网页数据爬取软件，拥有行业领先的数据采集能力，能够很好地解决另类数据体量大、实时性高、数据种类多、结构多样的采集痛点。
37710编辑于 2023-12-01 - 来自专栏Python小课堂
6个步骤教你金融数据挖掘预处理
数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。下面就一起看下常用六大步完成数据预处理。 train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6： 数据变换[1]是将数据集的每个元素乘以常数 ；也就是说，将每个数 变换为 ，其中 , 和 都是实数。 数据变换将可能改变数据的分布以及数据点的位置。 它还生成了一个新的特征矩阵数据，该数据是由所有次数小于或等于指定次数的特征的多项式组合组成的。
74630编辑于 2021-12-31 - 来自专栏全栈程序员必看
API数据采集_数据采集接口
type=id 使用python代码获取数据、 import json from urllib.request import urlopen def getInformation(id): response result") print(getInformation("1")[0].get("artist_name")) 结果： 曾沛慈 说明： 通过调用API接口加上JSON格式解析，可以获取我们想要的任何数据 JSON格式如下： 2 API接口 以下接口来自https://www.jianshu.com/p/e6f072839282，请不要恶意刷！
3.1K50编辑于 2022-09-28 - 来自专栏数据STUDIO
6个步骤搞定金融数据挖掘预处理
导读： 预处理是数据挖掘过程和机器学习的重要步骤。它被用来表示 "废料进，废品出"。在机器学习和数据挖掘中，数据采集方法往往控制松散，导致值超出范围、不可能的数据组合、缺失值等问题。 数据预处理一般包括数据清洗和数据变换，数据清洗包括缺失值、异常值处理，数据变换一般包括数据归一化、标准化、特征编码等等。 数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。 下面就一起看下常用六大步完成数据预处理。其中数据获取可以参考金融数据准备。 ? train_test_split( X , Y , test_size = 0.2, random_state = 0) Step 6： 数据变换将可能改变数据的分布以及数据点的位置。
2K30发布于 2021-06-24 - 来自专栏物联网wtblnet.com
数据采集网关|工业数据采集网关
数据采集网关|工业数据采集网关 随着数据量的不断增速，数据价值也逐步被许多公司所关注，尤其是偏重于业务型的企业，许多数据的发生，在未被挖掘整合的进程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估计 近段时刻有幸参与负责了一个大数据项目，今日主要对收集体系做一次简单的复盘： 数据收集体系故名思意就是将数据从数据源收集到能够支撑大数据架构环境中，从而实现数据的收集以便后期对数据的二次加工树立数据仓库。 数据采集网关，物通博联数据采集网关相关产品： 1477559252.jpg 1480315233.jpg 一、业务流程整理 在业务流程整理的进程中，咱们先预设个场景，如： 当公司运营人员提出一个订单转化率的需求 ，都需求获取哪些数据，获取到后要收集存储到哪个数据仓库的表中，终究被运用到。 数据源办理 数据源一般会分为许多种类型，因而，咱们需求树立数据源类型；如ORECAL、mysql、hive等。
2.4K40发布于 2019-12-03 - 来自专栏物联网智慧生活
数据采集器 数据采集终端
TS511系列采集终端是集数据采集与2G/3G/4G/5G数据传输功能于一体的环保数据采集终端，完全符合《污染物在线自动监控(监测)系统数据传输标准》(HJ 212-2017) 和(HJ 212-2005 0.jpg 集视频图像监控、数据采集、数据存储、无线通信传输于一体 TS511环保数采仪，集视频图像监控、数据采集、数据存储、无线通信传输于一体;实现环保数据的采集、存储、显示、控制、报警及加密传输等综合功能 ;智能采集上报实时采集数据、设备监控数据等数据信息;接口丰富，可扩展性强、功能强大，组网灵活。 6.jpg 通信方式设计：多种通信，多种选择 采集和传输一体化设计，通信稳定，节省成本,集成数据采集和5G/4G DTU功能;支持GPRS/4G/5G无线蜂窝网络、短信、RS232/RS485， 支持运营商专网接入并指定IP，多层加密，享受金融级数据标准、支持TCP server功能，支持根据域名和IP地址访问数据中心;在专网的基础上再增加一层加密方式传输，充分保障交易数据、管理数据的可靠性、准确性
3K00发布于 2021-05-18 - 来自专栏动态IP服务
金融数据采集如何避免IP被封与法律风险？
在金融数据采集的战场上，爬虫工程师每天都在与平台的风控系统斗智斗勇。当你的程序突然无法获取数据，或是收到法律警告时，往往意味着技术策略或合规环节出现了漏洞。 结合多年实战经验，今天给系统的梳理了金融数据爬虫的核心生存法则。平台如何识别"非人类"？现代金融平台的风控系统早已不是简单的规则匹配，而是通过机器学习构建的智能识别网络。 网络属性：数据中心IP、频繁变更的地理位置、与历史行为不符的访问时段，都是危险信号。某跨境金融平台发现，使用香港住宅IP采集港股数据时，成功率比云服务器IP高4倍。技术突破：让爬虫更像"真人"1. 合规底线：数据采集的红线采集前必须确认：数据是否公开可获取、是否涉及商业秘密、使用目的是否正当。 处理含个人信息的金融数据时：仅采集必要字段（如股票代码，而非交易账户）；对身份证号、手机号等实施哈希处理。在监管趋严与技术对抗升级的背景下，金融数据爬虫已进入"精细化运营"时代。
45810编辑于 2025-09-26 - 来自专栏薪火数据
数据采集来源有哪些？数据采集方式有哪些？数据采集怎么做？
数据采集是指获取和收集数据的过程。数据采集来源多种多样，包括以下几个主要方面：1. 适用于需要大规模获取互联网上的数据的情况。6. 传感器和设备：通过传感器和设备收集物理世界中的数据，如温度传感器、压力传感器、摄像头等。7. 数据采集执行：根据采集计划和方法，执行数据采集操作，确保数据按照预定的频率和规模被获取。5. 数据验证和质量控制：对采集到的数据进行验证和质量控制，检查数据的完整性、准确性和一致性，进行必要的纠错和修正。6. 在进行数据采集时，需要明确采集目标、选择合适的数据源和采集方式，进行数据准备和清洗，进行有效的数据采集和质量控制，并确保数据的安全和隐私保护。
9.1K10编辑于 2023-12-29 - 来自专栏极客慕白的成长之路
数据采集：如何自动化采集数据？
上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。 那么，从数据采集角度来说，都有哪些数据源呢？我将数据源分成了以下的四类。 ? 这四类数据源包括了：开放数据源、爬虫抓取、传感器和日志采集。它们各有特点。 开放数据源一般是针对行业的数据库。 如何使用开放数据源 我们先来看下开放数据源，教你个方法，开放数据源可以从两个维度来考虑，一个是单位的维度，比如政府、企业、高校；一个就是行业维度，比如交通、金融、能源等领域。 所以如果你想找某个领域的数据源，比如金融领域，你基本上可以看下政府、高校、企业是否有开放的数据源。当然你也可以直接搜索金融开放数据源。 火车采集器 火车采集器已经有13年历史了，是老牌的采集工具。它不仅可以做抓取工具，也可以做数据清洗、数据分析、数据挖掘和可视化等工作。
4.9K10发布于 2020-01-02 - 来自专栏短信接收服务
爬虫数据采集
这都是爬虫数据采集的功劳。 这篇文章我总结了爬虫数据采集的说有流程，从最开始的最简单的基本爬虫，到爬虫所采集到的数据如何存储，以及我们如何绕过一些反爬措施，来获取我们需要的数据，进行爬虫的数据采集： 爬虫介绍：主要介绍了什么是爬虫 爬虫所带来的道德风险与法律责任：这篇文章主要介绍了我们在做数据采集的时候，什么可以采集，什么不能采集，由于不当采集给我们带来的法律风险，我们需要注意的一些问题。 使用 API：我们在进行数据采集的时候，另外的一种方法，可以大大简化我们数据采集的难度，同时有些网站只提供 API 我们应该如何去获取数据。 数据清洗：这篇文章主要介绍了我们采集的数据，如何清洗大做进一步的处理，来达到项目的要求。 数据标准化：这篇文章主要介绍了数据清洗之后如何标准化，来达到可以做数据分析的要求。
2.6K10编辑于 2022-04-28 - 来自专栏geekfly
Java数据采集-6.获取开源中国新闻列表（翻页-2）
---- 点击该链接，在Header中，我们可以看到请求地址，请求类型，参数等，参数中的p即为获取第p页的数据，有些网站还会包括每页的数据条数，根据实际情况添加即可。 ---- 点击response可以查看返回的数据，细心的同学已经看到返回的数据和Java数据采集-3.抓取开源中国新闻（新版）博客中介绍的一致，此处不再做过多介绍。 3.解析数据 forEachData为解析每一页数据的，获取具体的每一条的相关信息。 以下代码详细介绍参考：Java数据采集-3.抓取开源中国新闻（新版） public static void forEachData(Elements items){ String host getPageData函数为获取某一页的数据，接收页数作为参数，返回当前页的数据条数。
81410编辑于 2022-05-06 - 来自专栏物联网wtblnet.com
数据采集网关
数据采集网关是一种低功耗、高可靠性的无风扇配置。它具有内置的工业标准Modbus协议通信模块、主流数据库的数据采集接口和数据采集接收软件。协议模块可以扩展以支持更广泛的第三方设备、仪器和收集器。 网关在采集和接收相关变量的数据时，还可以通过配置进行复杂的业务逻辑操作，实现数据的标准化，为数据在上层管理系统中的直接应用提供了条件。 数据采集网关是一种安全稳定的工业数据采集和转换设备。 它是集数据采集、PLC远程更新、工业计算机和云服务于一体的智能设备。适用于各种设备的远程管理。 •管道传输和数据聚合 •WDCP是嵌入式对象通信和Bo-Lian管道协议，实现了对现场复杂机型的标准化访问，并将数据采集到数据中心进行计算和存储。 支持远程读取网关状态、远程控制网关、设备和变量的远程配置、远程部署、远程读取设备数据、远程写入设备数据等功能。
2.7K00发布于 2019-12-07 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
一、Flume简介 数据流 ：数据流通常被视为一个随时间延续而无限增长的动态数据集合，是一组顺序、大量、快速、连续到达的数据序列。 （一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
2.3K10编辑于 2025-01-22 - 来自专栏数据科学与人工智能
3月6日数据动态早报 | 利用大数据防范金融风险
【雨果网】 三、互金行业数据动态 1 利用大数据防范金融风险。金融发展与现代信息技术的深度融合，运用大数据技术作为支撑，提升办案能力，是应对金融犯罪信息化、智能化新情况的必然举措。 一是要采用大数据聚合方法进行风险预警，互联网金融企业的注册信息、招聘信息、网站访问量、营销广告等特征数据经大数据平台聚合，形成对企业的“数据画像”。 同时，应加快培养专门的法律大数据分析人才，提升风险防范和信息化队伍的专业素质。【经济日报】 2 互联网金融再入“两会”视野 风险防范被重点提及。 李克强总理所做的政府工作报告中，互联网金融再度被提及，并特别强调了互联网金融在内的金融风险防范。 【金融界】 四、医疗建康数据动态 1 在《“洞见·2017”新兴产业投资机会》白皮书中，将人工智能（AI）、虚拟现实（VR）、大数据、云计算、信息安全、工业软件、泛娱乐、社交网络、互联网医疗、互联网金融
1K70发布于 2018-02-28 注塑机数据采集网关能采集什么数据？
注塑机数据采集网关作为连接注塑机与上层管理系统（如MES、ERP、工业互联网平台）的关键设备，能够实时采集注塑机运行过程中的各类核心数据，涵盖设备状态、生产参数、工艺指标、能耗信息等多个维度，主要包括以下几类 生产过程核心参数：包括周期数据（总周期及合模、射胶等阶段时间）、模具与产品信息（模具编号、产品型号、产量及不良品数据），以及核心工艺参数（射胶/保压的速度、压力、位置，料筒及模具温度，锁模力等）。 辅助与扩展数据：如设备运行时长、停机分类统计等；此外，部分网关还能通过外接传感器获取冷却水参数、机械手状态、车间环境温湿度等扩展数据。 总而言之，注塑机数据采集网关采集可以采集的数据多种多样，但其核心都在于帮助企业实现生产过程透明化、质量追溯、能耗管控及效率提升。 如果你是有相关项目需求，可以了解一下矩形科技的π-EBOX数据采集网关，该网关功能强大，兼容90%以上的注塑机品牌和协议，只需将产品与注塑机连接，即可自动采集注塑机数据，实现真正的即插即用。
24110编辑于 2025-10-31- 来自专栏京东电商平台API接口开发系列
【京东】商品评价数据采集+商品评论数据采集+买家评论内容数据+行业评论数据采集
采集场景京东商品详情页中的评价，有多个分类：【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现，其他需点击后展现。本文以按【差评】筛选采集为例讲解。 采集字段用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。图片采集结果采集结果可导出为Excel、CSV、HTML、数据库等多种格式。 导出为Excel示例：图片 JD.item_review - 获得 JD 商品评论数据接口代码展示1. 请求方式：HTTPS POST GET 2. api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]cacheString否[yes,no]默认yes，将调用缓存的数据 ，速度比较快result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读langString
2.1K20编辑于 2023-04-24 - 来自专栏不止思考
大数据之数据采集
大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 事实上，统计JS在采集到数据之后，可以立即发送到数据中心，也可以进行适当的汇聚之后，延迟发送到数据中心，这个策略取决于不同场景的需求来定。 比如 清洗假流量数据、识别攻击、数据的正常补全、无效数据的剔除、数据格式化、数据隔离等。 客户端日志采集： 一般会开发专用统计SDK用于APP客户端的数据采集。 客户端数据的采集，因为具有高度的业务特征，自定义要求比较高，因此除应用环境的一些基本数据以外，更多的是从 “按事件”的角度来采集数据，比如 点击事件、登陆事件、业务操作事件 等等。 数据采集本身不是目的，只有采集到的数据是可用、能用，且能服务于最终应用分析的数据采集才是根本。
1.7K20发布于 2018-08-31 - 来自专栏数据科学与人工智能
【金融数据】消费金融：大数据风控那点事？
相对于传统金融来讲，互联金融面对的客户风险较高，其风控面临的挑战更大，对数据风控对要求就会更高。 三、互联网金融行业的风控挑战 中国的互联网金融企业愿意从美国挖一些风控人才来提高自身风控水平。 大数据风控的一个最大的优势就是丰富了信用风险评估的数据纬度，这些用户行为信息，很大程度是大数据采集和分析的结果，用户一般是不会提供给金融行业的。 大数据的数据采集和计算能力，可以帮助企业建立实时的风险管理视图。借助于全面多纬度的数据、自我学习能力的风控模型、实时计算结果、坏种子数据，企业可以提升量化风险评估能力。 大数据风控也有缺点，例如数据的覆盖率，匹配率，饱和度，鲜活度，查得率，以及相关度，甚至数据采集和使用涉及得隐私问题都是大数据风控的缺点。 借助于移动大数据和用户行为信息，金融企业可以识别恶意欺诈用户。
5.1K51发布于 2018-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号